AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)

简介: AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)

大家还记得 AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解 这篇文章中,曾简单介绍了Lora的安装和使用吗 ?


但是我们并不清楚LORA 的原理是什么?以及使用过程中有什么技巧 ?


其实LORA 与 embedding 、Hypernetwork 在本质上类似,不过因为携带着大量的训练数据,所以 LORA 对人物和细节特征的复刻更加细腻(效果最好)、使用频率也是最高的。


因此我们在这里将重点介绍 LORA 模型相关的知识:包含LORA模型的原理、安装、使用、Lora模型的类型。

由于篇幅原因,这里将分为上、下两节进行详细讲解。


一、LORA 的原理


1、Lora是什么 ?

LORA,英文全称Low-Rank Adaptation of LargeLanguage Models,直译为大语言模型的低阶适应。这是微软的研究人员为了解决大语言模型微调而开发的一项技术。


LORA是一种在消耗更少内存的情况下,加速大型模型训练的训练方法,在stable diffusion中它允许使用低阶适应技术来快速微调扩散模型。简而言之,LoRA训练模型可以更轻松地针对不同概念(例如角色或特定风格)进行模型训练。这些经过训练的模型可以被导出并供其他人使用。


LORA模型是小型的stable diffusion模型,对checkpoint模型 cross-attention layers(交叉注意力层)进行了较小的更改,但是它的体积只有checkpoint的1/100到1/10,文件大小一般在2-500MB之间。



从上图我们可以看到 LORA 对模型产生作用的环节是在 Noise predictor

下图是对上图放大以后的内部结构,LORA 是对 crossattention 进行更改。



在上一篇文章中,我们已经对比了三者的区别,感兴趣的朋友,请前往查看AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解


二、LORA 的下载安装


1、打开c站筛选LORA模型

点击右侧 ->漏斗图标 ,下拉菜单中选择 LORA



2、选择搜索结果中,喜欢的lora 模型进行下载


这里以 原神lora 模型为例进行演示:



下载完成后,会得到 Eula.safetensors 文件


3、 安装 lora 模型


将下载后的Eula.safetensors 文件,拷贝到 Lora 目录:

\sd-webui-aki-v4.2\models\Lora



4、 下载安装lora 模型对应的 chekpoint 模型


在右侧可以看到 lora 模型对应的 chekpoint 模型 是 xxmix9realistic_v40 。

直接点击chekpoint 下方的“下载”按钮进行下载。



下载完成,会得到 xxmix9realistic_v40.safetensors 文件。


5、 安装 chekpoint 模型

将 xxmix9realistic_v40.safetensors 文件 拷贝到Stable-diffusion 目录:


\sd-webui-aki-v4.2\models\Stable-diffusion



安装完成后,重启 Stable diffusion 使其生效。


三、LORA 的使用


LORA的使用方法与EmbeddingsHypernetwork一样,为了方便新朋友的理解,这里详细演示一下步骤。


1、选择刚才安装的 chekpoint 模型


2、输入参数

  • 正向提示词
(((best quality, masterpiece, good anatomy))), eula_in_genshin, cowboy shot, 1girl, blue short hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, upper body,outdoors, castle, streets, green plants, flowers,



  • 反向提示词
ng_deepnegative_v1_75t, (badhandv4:1.5), (worst quality:2),(lower eyelashes:2), (low quality:2), (normal quality:2),(holding:2),(gloves:2),(blue gloves:2),(black gloves:2),lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) ,watermark



  • 采样方法:DPM++ 2M Karras
  • 迭代步数:40
  • 随机种子:1831064945
  • CFG Scale:21


3、重点来了,选择刚安装的 lora 模型

(1)、点击生成按钮下方的红色图标



切换到lora模型标签


(2)、lora 标签页面选择 刚安装的模型 Eula



此时,正向提示词输入框中会自动添加 LORA 模型,如下:


(3)、点击生成按钮 ,查看效果


(4)、使用技巧:

  • 我们可以调整权重来调高或调低效果
    将权重设置为 0 会禁用 LoRA 模型,可以在 0 和 1 之间调整样式效果。
    需要注意的是,每个 LORA 模型对输出图像的权重设置是非常重要的。权重设置越大,对画面的影响因素就越浅。通常情况下,权重 应该控制在 0.7-1 之间。如果权重过高,会大幅度影响出图的质量。

  • 通常来说,每个 LORA 模型都有对应的底膜和触发词汇。我们可以查看 LORA 作者产出的相关图片,从中获取模型信息,并从中选择一些提示词和排除词来指定生成图像的方向。

例如这个模型的介绍页面就有触发词的说明:


触发词为:

eula_in_genshin, cowboy shot, 1girl, blue medium hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, black thighhighs, high heels,


也就是我们正向提示词里面的内容:


  • 与Embeddings类似,可以同时使用多个LoRA模型,还可以将它们与embeddings一起使用。


  • 在 AUTOMATIC1111 中,LoRA 短语不是提示词的一部分,LoRA模型应用后将被移除,这意味着不能将提示词语法使用在lora模型短语上。


好了,今天的内容就介绍到这里,下一篇,我们将继续介绍Lora 模型的类型,敬请关注。


相关文章
|
30天前
|
编解码 物联网 API
"揭秘SD文生图的神秘面纱:从选择模型到生成图像,一键解锁你的创意图像世界,你敢来挑战吗?"
【10月更文挑战第14天】Stable Diffusion(SD)文生图功能让用户通过文字描述生成复杂图像。过程包括:选择合适的SD模型(如二次元、2.5D、写实等),编写精准的提示词(正向和反向提示词),设置参数(迭代步数、采样方法、分辨率等),并调用API生成图像。示例代码展示了如何使用Python实现这一过程。
61 4
|
1月前
|
人工智能 Serverless
AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用
【10月更文挑战第7天】过去在阿里云社区搭建Stable Diffusion图像生成应用需查阅在线实验室或官方文档,耗时且不便。现阿里云AI助理提供精准匹配服务,直接在首页询问AI助理即可获取详细部署步骤,简化了操作流程,提高了效率。用户可按AI助理提供的步骤快速完成应用创建、参数设置、应用部署及资源释放等操作,轻松体验Stable Diffusion图像生成功能。
|
1月前
|
机器学习/深度学习 人工智能
打开AI黑匣子,三段式AI用于化学研究,优化分子同时产生新化学知识,登Nature
【10月更文挑战第11天】《自然》杂志发表了一项突破性的化学研究,介绍了一种名为“Closed-loop transfer”的AI技术。该技术通过数据生成、模型训练和实验验证三个阶段,不仅优化了分子结构,提高了光稳定性等性质,还发现了新的化学现象,为化学研究提供了新思路。此技术的应用加速了新材料的开发,展示了AI在解决复杂科学问题上的巨大潜力。
30 1
|
11天前
|
人工智能 知识图谱
成熟的AI要学会自己搞研究!MIT推出科研特工
MIT推出科研特工SciAgents,结合生成式AI、本体表示和多代理建模,实现科学发现的自动化。通过大规模知识图谱和多代理系统,SciAgents能探索新领域、识别复杂模式,加速新材料发现,展现跨学科创新潜力。
34 12
|
10天前
|
机器学习/深度学习 人工智能 算法
基于AI的性能优化技术研究
基于AI的性能优化技术研究
|
1月前
|
人工智能 Serverless
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
介绍了一种利用AI助手快速获取并搭建Stable Diffusion图像生成应用的方法。用户只需在阿里云官网向AI助手提出需求,即可获得详细的实施方案。随后,按照AI助手提供的方案,通过函数计算部署应用,并进行测试。此过程显著提升了开发效率。
797 2
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
|
30天前
|
人工智能
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
|
1月前
|
人工智能 自然语言处理
召唤100多位学者打分,斯坦福新研究:AI科学家创新确实强
【10月更文挑战第6天】斯坦福大学最新研究评估了大型语言模型(LLMs)在生成新颖研究想法方面的能力,通过100多位NLP专家盲评LLMs与人类研究人员提出的想法。结果显示,LLMs在新颖性方面超越人类(p < 0.05),但在可行性上略逊一筹。研究揭示了LLMs作为科研工具的潜力与挑战,并提出了进一步验证其实际效果的设计。论文详见:https://arxiv.org/abs/2409.04109。
39 6
|
1月前
|
人工智能 自然语言处理 机器人
MIT新研究揭秘AI洗脑术!AI聊天诱导人类编造记忆,真假难辨
麻省理工学院的一项新研究《基于大型语言模型的对话式AI在证人访谈中加剧虚假记忆》显示,使用生成式聊天机器人进行犯罪证人访谈会显著增加参与者的虚假记忆,且影响持久。研究设置了对照组、问卷访谈、预设脚本及生成式聊天机器人四种条件,结果显示生成式聊天机器人诱导的虚假记忆数量远超其他方法。尽管AI技术在效率和准确性方面潜力巨大,但在敏感领域需谨慎应用,并需进一步评估风险,制定伦理准则和监管措施。论文详细内容见[这里](https://arxiv.org/abs/2408.04681)。
41 2
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
当前AI大模型在软件开发中的创新应用与挑战
2024年,AI大模型在软件开发领域的应用正重塑传统流程,从自动化编码、智能协作到代码审查和测试,显著提升了开发效率和代码质量。然而,技术挑战、伦理安全及模型可解释性等问题仍需解决。未来,AI将继续推动软件开发向更高效、智能化方向发展。