StableDiffusion-03 (准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(二)

简介: StableDiffusion-03 (准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(二)

接上篇:https://developer.aliyun.com/article/1621177?spm=a2c6h.13148508.setting.16.45bd4f0eTQyTls

启动项目

恭喜你顺利配置了环境,我们继续!

使用 gui.sh 启动项目

./gui.sh --listen 0.0.0.0 --server_port 6006 --share
• 1

访问项目

# 或者是你的 IP 地址
http://localhost:6006
• 1
• 2

我们可以看到项目的大致页面为:

准备素材

下载素材

我去网络上截图了不到20张小樱,按理来说,图片越多,风格样式不一样,可以帮助模型更好的学习到特征。


统一裁切

这里为了保证模型更好的学习,建议裁切到统一大小,同时把20张都手动过一遍。(不裁切的话,工具可以自行进行识别和裁切,裁切模型认为好的那部分)

一键裁切为标准的尺寸,我这里选择了 512x512

免费的裁切网站(感谢无私奉献):birme统一裁切

上传素材

用你习惯的方式,将图片上传到某个目录。(记住这个目录,后边要用到)

目录名要求:数字_项目名,我这里是:30_sakura,动漫风格10-50(可以搜索你要训练的风格配置为多少)

因为是学习,大家不用研究那么多,直接按30来就行,先抄着参数跑通再说。

这里大致样子是(忘记截图了,用了别的项目的图):

生成标签

打开项目地址(刚才的6006)标签页,并填写如下参数:

Image foloder to caption 你上传图片的目录

● Prefix to add to BLIP caption 图片添加的前置词

我这里对应的两个参数地址是:


# 图片目录 Image foloder to caption
/root/autodl-tmp/kohya_ss/wzk_test/image/30_sakura
# 添加的前置词(类似于触发词,以后通过该词触发)Prefix to add to BLIP caption
w_sakura

开始训练

点击Caption Images

开始训练,此时如果你是第一次运行,将会有一些额外的模型需要下载。

如果一切顺利的话,你将会看到模型给我们的图片打上了标签。

文件内变成了:图片+txt标签内容

此时我们可以针对每个txt的内容,调整提示词,但是作为学习,暂时不考虑,我们优先

查看标签

# 000.txt
w_sakura, a girl with a ponytail and a sailor outfit
# 001.txt
w_sakura, a girl with green eyes and a ponytail
# 002.txt
w_sakura, a girl with a bag of bread and a sandwich
目录
相关文章
|
1月前
|
物联网
StableDiffusion-04 (炼丹篇) 15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(一)
StableDiffusion-04 (炼丹篇) 15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(一)
29 0
|
1月前
|
物联网
StableDiffusion-04 (炼丹篇) 15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(二)
StableDiffusion-04 (炼丹篇) 15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(二)
31 0
|
15天前
|
机器学习/深度学习 算法 物联网
大模型进阶微调篇(一):以定制化3B模型为例,各种微调方法对比-选LoRA还是PPO,所需显存内存资源为多少?
本文介绍了两种大模型微调方法——LoRA(低秩适应)和PPO(近端策略优化)。LoRA通过引入低秩矩阵微调部分权重,适合资源受限环境,具有资源节省和训练速度快的优势,适用于监督学习和简单交互场景。PPO基于策略优化,适合需要用户交互反馈的场景,能够适应复杂反馈并动态调整策略,适用于强化学习和复杂用户交互。文章还对比了两者的资源消耗和适用数据规模,帮助读者根据具体需求选择最合适的微调策略。
|
13天前
|
机器学习/深度学习 自然语言处理 数据格式
社区供稿 |【8卡从零训练Steel-LLM】微调探索与评估
本篇文章主要介绍下微调上的探索以及评估。另外,还特意试了试训练CMMLU数据集,能在榜单上提多少分
|
1月前
|
并行计算 Ubuntu 物联网
StableDiffusion-03 (准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(一)
StableDiffusion-03 (准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(一)
28 0
|
2月前
Meta浙大校友让评估模型自学成才,数据全合成无需人工标注,训练Llama 3 70B超过405B
【9月更文挑战第21天】近日,一篇名为《Self-Taught Evaluators》的论文引起了广泛关注。该论文由Meta与浙江大学校友合作完成,提出一种创新的模型评估方法,通过让评估模型自学习训练,无需依赖昂贵且易过时的人工标注数据。此方法利用合成数据,通过迭代生成对比模型输出并训练基于大型语言模型的评估器,从而实现自我迭代改进。研究结果显示,在不使用任何标注偏好数据的情况下,这种方法显著提升了评估模型的性能,甚至超越了一些现有模型。尽管如此,该方法在实际应用中仍需进一步验证。论文地址:https://arxiv.org/abs/2408.02666
60 4
|
3月前
|
算法 搜索推荐
支付宝商业化广告算法问题之基于pretrain—>finetune范式的知识迁移中,finetune阶段全参数训练与部分参数训练的效果如何比较
支付宝商业化广告算法问题之基于pretrain—>finetune范式的知识迁移中,finetune阶段全参数训练与部分参数训练的效果如何比较
|
4月前
LLM用于时序预测真的不行,连推理能力都没用到
【7月更文挑战第15天】LLM在时序预测上的应用遇挫:研究显示,大型语言模型在多个实验中未显优势,甚至被简单注意力层替代时效果不变或更好。预训练知识未能有效利用,处理时序依赖性不足,且在小样本学习中未见提升。[链接:](https://arxiv.org/pdf/2406.16964)**
82 2
|
5月前
|
语音技术 计算机视觉
CVPR 2024 Highlight :北航等发布时间特征维护:无需训练,极致压缩加速Diffusion
【6月更文挑战第28天】在CVPR 2024会议上,北航等研究团队提出了**时间特征维护**技术,针对Diffusion模型实现无需训练的高效压缩与加速。通过选择性保留关键时间特征,他们在保持生成质量的同时,实现了模型4bit极致压缩和超过2.38倍硬件加速,简化了复杂模型,提升了运行效率。这一创新方法有望改善Diffusion模型在实际应用中的资源需求,但其鲁棒性和泛化能力尚需更多验证。[论文链接](https://arxiv.org/pdf/2311.16503)
54 5
|
6月前
|
机器学习/深度学习 人工智能 物联网
加速扩散模型,最快1步生成SOTA级图片,字节Hyper-SD开源了
【5月更文挑战第9天】字节跳动研究团队推出Hyper-SD框架,实现快速图像生成,仅需1步即可达SOTA水平。该框架采用TSCD技术减少误差,整合ReFL优化加速模型,提高图像质量。在1步推理时,Hyper-SDXL在CLIP和Aes Score上超越SDXL-Lightning。开源LoRA插件促进社区发展,但可能牺牲部分模型通用性,未来仍需关注用户需求多样性。[论文链接](https://arxiv.org/abs/2404.13686)
73 1
下一篇
无影云桌面