1. 文生图基础知识介绍
文生图主要以SD系列基础模型为主,以及在其基础上微调的lora模型和人物基础模型等。
1.1 提示词
提示词很重要,一般写法:主体描述,细节描述,修饰词,艺术风格,艺术家
有正向提示词和负向提示词,通过提示词的设置来控制生成图片的风格和要求
1.2 Lora
Stable Diffusion中的Lora(LoRA)模型是一种轻量级的微调方法,它代表了“Low-Rank Adaptation”,即低秩适应。Lora不是指单一的具体模型,而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下,Lora被用来对预训练好的大模型进行针对性优化,以实现对特定主题、风格或任务的精细化控制。
本次使用文本生成图像的就是LoRA模型。
2. 阿里云PAI-DSW和魔搭社区
学习了阿里云PAI-DSW的试用以及与魔搭社区的绑定方式,最后创建实例进行工作。
创建教程:https://linklearner.com/activity/14/10/24
3. 30 分钟体验一站式 baseline
3.1 安装相关环境和库
3.2 导入模型和训练
3.3 设置提示词
3.4 生成图片
4. 存在问题
显存不够