StableDiffusion-03 (准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(二)

简介: StableDiffusion-03 (准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(二)

接上篇:https://developer.aliyun.com/article/1621177?spm=a2c6h.13148508.setting.16.45bd4f0eTQyTls

启动项目

恭喜你顺利配置了环境,我们继续!

使用 gui.sh 启动项目

./gui.sh --listen 0.0.0.0 --server_port 6006 --share
• 1

访问项目

# 或者是你的 IP 地址
http://localhost:6006
• 1
• 2

我们可以看到项目的大致页面为:

准备素材

下载素材

我去网络上截图了不到20张小樱,按理来说,图片越多,风格样式不一样,可以帮助模型更好的学习到特征。


统一裁切

这里为了保证模型更好的学习,建议裁切到统一大小,同时把20张都手动过一遍。(不裁切的话,工具可以自行进行识别和裁切,裁切模型认为好的那部分)

一键裁切为标准的尺寸,我这里选择了 512x512

免费的裁切网站(感谢无私奉献):birme统一裁切

上传素材

用你习惯的方式,将图片上传到某个目录。(记住这个目录,后边要用到)

目录名要求:数字_项目名,我这里是:30_sakura,动漫风格10-50(可以搜索你要训练的风格配置为多少)

因为是学习,大家不用研究那么多,直接按30来就行,先抄着参数跑通再说。

这里大致样子是(忘记截图了,用了别的项目的图):

生成标签

打开项目地址(刚才的6006)标签页,并填写如下参数:

Image foloder to caption 你上传图片的目录

● Prefix to add to BLIP caption 图片添加的前置词

我这里对应的两个参数地址是:


# 图片目录 Image foloder to caption
/root/autodl-tmp/kohya_ss/wzk_test/image/30_sakura
# 添加的前置词(类似于触发词,以后通过该词触发)Prefix to add to BLIP caption
w_sakura

开始训练

点击Caption Images

开始训练,此时如果你是第一次运行,将会有一些额外的模型需要下载。

如果一切顺利的话,你将会看到模型给我们的图片打上了标签。

文件内变成了:图片+txt标签内容

此时我们可以针对每个txt的内容,调整提示词,但是作为学习,暂时不考虑,我们优先

查看标签

# 000.txt
w_sakura, a girl with a ponytail and a sailor outfit
# 001.txt
w_sakura, a girl with green eyes and a ponytail
# 002.txt
w_sakura, a girl with a bag of bread and a sandwich
目录
相关文章
|
2月前
|
物联网
StableDiffusion-04 (炼丹篇) 15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(二)
StableDiffusion-04 (炼丹篇) 15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(二)
39 0
|
2月前
|
物联网
StableDiffusion-04 (炼丹篇) 15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(一)
StableDiffusion-04 (炼丹篇) 15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(一)
38 0
|
18天前
|
机器学习/深度学习 存储 人工智能
谢赛宁新作:表征学习有多重要?一个操作刷新SOTA,DiT训练速度暴涨18倍
谢赛宁团队提出REPA方法,通过将扩散模型中的噪声输入隐藏状态与外部预训练视觉编码器的干净图像表征对齐,显著提升扩散模型的训练效率和生成质量,为扩散模型在表征学习上的应用开辟新路径。
29 5
|
2月前
|
机器学习/深度学习 算法 物联网
大模型进阶微调篇(一):以定制化3B模型为例,各种微调方法对比-选LoRA还是PPO,所需显存内存资源为多少?
本文介绍了两种大模型微调方法——LoRA(低秩适应)和PPO(近端策略优化)。LoRA通过引入低秩矩阵微调部分权重,适合资源受限环境,具有资源节省和训练速度快的优势,适用于监督学习和简单交互场景。PPO基于策略优化,适合需要用户交互反馈的场景,能够适应复杂反馈并动态调整策略,适用于强化学习和复杂用户交互。文章还对比了两者的资源消耗和适用数据规模,帮助读者根据具体需求选择最合适的微调策略。
362 5
|
1月前
|
机器学习/深度学习 自然语言处理 数据格式
社区供稿 |【8卡从零训练Steel-LLM】微调探索与评估
本篇文章主要介绍下微调上的探索以及评估。另外,还特意试了试训练CMMLU数据集,能在榜单上提多少分
|
2月前
|
人工智能 网络架构 开发者
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
【10月更文挑战第1天】《OLMoE: Open Mixture-of-Experts Language Models》一文介绍了OLMoE,这是一个完全开源的Mixture-of-Experts(MoE)语言模型,具有70亿参数量,但每个输入令牌仅需10亿参数进行推理,有效平衡了性能与成本。OLMoE由Allen Institute for AI等机构的研究者共同开发,其开源特性促进了大规模语言模型领域的合作与创新,降低了资源浪费,同时具备良好的可扩展性和效率,为研究和应用开辟了新可能。然而,其复杂性也可能带来训练和调优上的挑战。
55 2
|
2月前
|
并行计算 Ubuntu 物联网
StableDiffusion-03 (准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(一)
StableDiffusion-03 (准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我!(一)
32 0
|
3月前
Meta浙大校友让评估模型自学成才,数据全合成无需人工标注,训练Llama 3 70B超过405B
【9月更文挑战第21天】近日,一篇名为《Self-Taught Evaluators》的论文引起了广泛关注。该论文由Meta与浙江大学校友合作完成,提出一种创新的模型评估方法,通过让评估模型自学习训练,无需依赖昂贵且易过时的人工标注数据。此方法利用合成数据,通过迭代生成对比模型输出并训练基于大型语言模型的评估器,从而实现自我迭代改进。研究结果显示,在不使用任何标注偏好数据的情况下,这种方法显著提升了评估模型的性能,甚至超越了一些现有模型。尽管如此,该方法在实际应用中仍需进一步验证。论文地址:https://arxiv.org/abs/2408.02666
77 4
|
4月前
|
算法 搜索推荐
支付宝商业化广告算法问题之基于pretrain—>finetune范式的知识迁移中,finetune阶段全参数训练与部分参数训练的效果如何比较
支付宝商业化广告算法问题之基于pretrain—>finetune范式的知识迁移中,finetune阶段全参数训练与部分参数训练的效果如何比较
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
【AI大模型】Transformers大模型库(九):大模型微调之计算微调参数占比
【AI大模型】Transformers大模型库(九):大模型微调之计算微调参数占比
62 0

热门文章

最新文章