part0 总叙
在上一个task中，我们对baseline进行了逐行精读，我们学会了使用AI工具来帮助我们更快更好地学习。另外我们制作了一个话剧连环画，同时我们对零代码文生图平台secpter webui也有了一个初步的理解。
我们今天的任务是了解微调的基本原理，然后我们会对微调的各种参数有一个更加清楚的了解，来实现一个更好的效果，并且在这个Task中会给大家介绍一下文生图的工作流平台工具ComfyUI，来实现一个更加高度定制的文生图。
part1 ComfyUI知识预备
在这一步中，我们会先了解ComfyUI的相关知识，认识其核心模块、图片生成流程以及ComfyUI的优势，为下一步的安装做准备。
part2 ComfyUI安装
这一步比较简单，也是和其他几个task的流程一样，跟着教程执行便可。
不过最后启动ComfyUI这一步耗时会稍微长一些，待ComfyUI的URL出来之后便可以复制链接在浏览器中打开了。
part3 ComfyUI使用
ComfyUI使用也较为简单，在下载好工作流脚本后加载工作流即可。
图中绿框代表执行阶段，并有进度条显示。
执行完成后便会显示图片。
这里是不带LoRA训练的图片结果。
这里是带LoRA训练的图片结果。
part4 LoRA微调
LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。
part5 数据集准备
当我们进行图片生成相关的工作时，选择合适的数据集是非常重要的。在寻找数据集时，通常需要完成以下事项：
- 明确你的需求和目标
- 关注应用场景：确定你的模型将被应用到什么样的场景中（例如，艺术风格转换、产品图像生成、医疗影像合成等）。
- 关注数据类型：你需要什么样的图片？比如是真实世界的照片还是合成图像？是黑白的还是彩色的？是高分辨率还是低分辨率？
- 关注数据量：考虑你的任务应该需要多少图片来支持训练和验证。
- 数据集来源整理
- 数据集的来源需要考虑合规性，使用时可选择一些公开的数据集。
- 数据集获取
使用API或爬虫获取
- 如果需要特定类型的内容，可以利用API从图库网站抓取图片，如Unsplash、Pexels等。
- 使用网络爬虫技术从互联网上抓取图片，但需要注意版权问题。
- 数据合成
- 利用现有的图形引擎（如Unity、Unreal Engine）或特定软件生成合成数据，这在训练某些类型的模型时非常有用。
- 数据增强
- 对于较小的数据集，可以通过旋转、翻转、缩放、颜色变换等方式进行数据增强。
- 购买或定制
- 如果你的应用是特定领域的，比如医学影像、卫星图像等，建议从靠谱的渠道购买一些数据集。
