AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)

简介: AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)

大家还记得 AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解 这篇文章中,曾简单介绍了Lora的安装和使用吗 ?


但是我们并不清楚LORA 的原理是什么?以及使用过程中有什么技巧 ?


其实LORA 与 embedding 、Hypernetwork 在本质上类似,不过因为携带着大量的训练数据,所以 LORA 对人物和细节特征的复刻更加细腻(效果最好)、使用频率也是最高的。


因此我们在这里将重点介绍 LORA 模型相关的知识:包含LORA模型的原理、安装、使用、Lora模型的类型。

由于篇幅原因,这里将分为上、下两节进行详细讲解。


一、LORA 的原理


1、Lora是什么 ?

LORA,英文全称Low-Rank Adaptation of LargeLanguage Models,直译为大语言模型的低阶适应。这是微软的研究人员为了解决大语言模型微调而开发的一项技术。


LORA是一种在消耗更少内存的情况下,加速大型模型训练的训练方法,在stable diffusion中它允许使用低阶适应技术来快速微调扩散模型。简而言之,LoRA训练模型可以更轻松地针对不同概念(例如角色或特定风格)进行模型训练。这些经过训练的模型可以被导出并供其他人使用。


LORA模型是小型的stable diffusion模型,对checkpoint模型 cross-attention layers(交叉注意力层)进行了较小的更改,但是它的体积只有checkpoint的1/100到1/10,文件大小一般在2-500MB之间。



从上图我们可以看到 LORA 对模型产生作用的环节是在 Noise predictor

下图是对上图放大以后的内部结构,LORA 是对 crossattention 进行更改。



在上一篇文章中,我们已经对比了三者的区别,感兴趣的朋友,请前往查看AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解


二、LORA 的下载安装


1、打开c站筛选LORA模型

点击右侧 ->漏斗图标 ,下拉菜单中选择 LORA



2、选择搜索结果中,喜欢的lora 模型进行下载


这里以 原神lora 模型为例进行演示:



下载完成后,会得到 Eula.safetensors 文件


3、 安装 lora 模型


将下载后的Eula.safetensors 文件,拷贝到 Lora 目录:

\sd-webui-aki-v4.2\models\Lora



4、 下载安装lora 模型对应的 chekpoint 模型


在右侧可以看到 lora 模型对应的 chekpoint 模型 是 xxmix9realistic_v40 。

直接点击chekpoint 下方的“下载”按钮进行下载。



下载完成,会得到 xxmix9realistic_v40.safetensors 文件。


5、 安装 chekpoint 模型

将 xxmix9realistic_v40.safetensors 文件 拷贝到Stable-diffusion 目录:


\sd-webui-aki-v4.2\models\Stable-diffusion



安装完成后,重启 Stable diffusion 使其生效。


三、LORA 的使用


LORA的使用方法与EmbeddingsHypernetwork一样,为了方便新朋友的理解,这里详细演示一下步骤。


1、选择刚才安装的 chekpoint 模型


2、输入参数

  • 正向提示词
(((best quality, masterpiece, good anatomy))), eula_in_genshin, cowboy shot, 1girl, blue short hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, upper body,outdoors, castle, streets, green plants, flowers,



  • 反向提示词
ng_deepnegative_v1_75t, (badhandv4:1.5), (worst quality:2),(lower eyelashes:2), (low quality:2), (normal quality:2),(holding:2),(gloves:2),(blue gloves:2),(black gloves:2),lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) ,watermark



  • 采样方法:DPM++ 2M Karras
  • 迭代步数:40
  • 随机种子:1831064945
  • CFG Scale:21


3、重点来了,选择刚安装的 lora 模型

(1)、点击生成按钮下方的红色图标



切换到lora模型标签


(2)、lora 标签页面选择 刚安装的模型 Eula



此时,正向提示词输入框中会自动添加 LORA 模型,如下:


(3)、点击生成按钮 ,查看效果


(4)、使用技巧:

  • 我们可以调整权重来调高或调低效果
    将权重设置为 0 会禁用 LoRA 模型,可以在 0 和 1 之间调整样式效果。
    需要注意的是,每个 LORA 模型对输出图像的权重设置是非常重要的。权重设置越大,对画面的影响因素就越浅。通常情况下,权重 应该控制在 0.7-1 之间。如果权重过高,会大幅度影响出图的质量。

  • 通常来说,每个 LORA 模型都有对应的底膜和触发词汇。我们可以查看 LORA 作者产出的相关图片,从中获取模型信息,并从中选择一些提示词和排除词来指定生成图像的方向。

例如这个模型的介绍页面就有触发词的说明:


触发词为:

eula_in_genshin, cowboy shot, 1girl, blue medium hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, black thighhighs, high heels,


也就是我们正向提示词里面的内容:


  • 与Embeddings类似,可以同时使用多个LoRA模型,还可以将它们与embeddings一起使用。


  • 在 AUTOMATIC1111 中,LoRA 短语不是提示词的一部分,LoRA模型应用后将被移除,这意味着不能将提示词语法使用在lora模型短语上。


好了,今天的内容就介绍到这里,下一篇,我们将继续介绍Lora 模型的类型,敬请关注。


相关文章
|
7天前
|
数据采集 机器学习/深度学习 人工智能
AI小分子药物发现的百科全书,康奈尔、剑桥、EPFL等研究者综述登Nature子刊
【7月更文挑战第12天】康奈尔、剑桥及EPFL科学家合作,详述AI在药物发现中的突破与挑战[^1]。AI现用于新化合物生成、现有药物优化及再利用,加速研发进程。尽管取得进展,可解释性不足、数据质量和伦理监管仍是待解难题。 [^1]: [论文链接](https://www.nature.com/articles/s42256-024-00843-5)
14 3
|
16天前
|
人工智能
AI绘画,Stable Diffusion如何使用中文简体包,黑色页面切换参数http://127.0.0.1:7860/?__theme=dark 两个__,中文包下载和安装
AI绘画,Stable Diffusion如何使用中文简体包,黑色页面切换参数http://127.0.0.1:7860/?__theme=dark 两个__,中文包下载和安装
|
16天前
|
人工智能
AI绘画---Stable Diffusion checkpoint 插件无法安装,中文包无法下载怎么办?这里该如何解决,扩展无法出现
AI绘画---Stable Diffusion checkpoint 插件无法安装,中文包无法下载怎么办?这里该如何解决,扩展无法出现
|
28天前
|
机器学习/深度学习 人工智能 算法
Stable Diffusion AI绘画
Stable Diffusion是人工智能领域的文本到图像生成模型,基于概率的连续扩散过程,学习数据潜在分布并生成新样本。模型使用Web UI进行交互,提供不同采样器如Euler和DPM++,后者常配以Karras算法。提示词对生成效果至关重要,可以利用GPT等生成提示词。用户还能调整参数如高清修复和批处理次数来影响生成的图像。此外,模型文件(ckpt/safetensors)和Lora微调模型需存放在正确目录以确保功能正常。
|
1月前
|
人工智能 安全 网络安全
简述AI漏洞修复研究现状及发展方向
鲁军磊先生的演讲聚焦AI在网络安全中的应用,特别是自动化漏洞修复。他讨论了大模型技术的最新进展,AI如何增强漏洞发现与修复,并介绍了AI智能体的三种协作模式。传统漏洞修复流程从手工审计到智能化挖掘逐步演进,而AI技术通过智能决策和自动化执行提高效率。未来趋势包括智能化防御、跨域协同、安全合规自动化、隐私保护强化和安全技能普及,以及可持续安全生态建设。AI正重塑网络安全领域,推动更高效、精准的防御策略。
|
18小时前
|
存储 机器学习/深度学习 人工智能
未来已来:AI技术的最新趋势与前沿探索
【7月更文第20天】在这个日新月异的时代,人工智能(AI)已经从科幻概念逐渐深入到我们日常生活的方方面面,其发展速度之快超乎想象。从基础的语音识别、图像分析到复杂的决策制定、自动驾驶,AI技术正以前所未有的力量推动着社会进步。本文将带您一同展望AI技术的未来发展方向,深入探讨量子计算、生物计算等新兴领域的前沿探索,以及它们如何重新定义AI的边界。
7 0
|
18小时前
|
存储 人工智能 安全
AI伦理与法规:确保技术安全可控
【7月更文第20天】随着人工智能(AI)技术的飞速发展,其在医疗、金融、教育、交通等领域的应用日益广泛,极大地推动了社会进步和经济发展。然而,AI的广泛应用也引发了诸多伦理问题和对个人隐私的潜在威胁,这些挑战要求我们在追求技术创新的同时,必须建立和完善相应的伦理规范与法律法规框架,以确保技术的安全可控。本文将探讨AI发展中的主要伦理问题、隐私保护策略以及相关的法律法规,并通过代码示例展示如何在实践中实施隐私保护措施。
9 0
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
|
2天前
|
人工智能 程序员 开发者
AI 时代程序员还“香”吗?别错过这场 OG & 跨界技术人的坦白局!
大模型当道的今天,程序员的职业选择与未来发展正在经历哪些变化和机会?大厂在招聘技术岗时会重点关注哪些能力?AI 时代下程序员的职场发展需要哪些“新活儿”傍身?7 月 11 日晚 19:00,我们请来了你熟悉的“OG 程序员”和“跨界程序员”,一起来一场“坦白局”!
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理

热门文章

最新文章