DataWhale夏令营第四期魔搭- AIGC方向task01笔记
part1 前序工作准备
这里教程和助教的笔记写的挺详细的,就不过多赘述了,整体只需要跟着操作即可。唯一只有两个点需要注意:
一是阿里云的PAI-DSW每天只有500个新用户试用名额,超过名额或者不是新用户就试用不了了。如果新用户当天没有抢到这500名额,就不要按后续的教程急急忙忙在阿里云中创建实例。因为一旦使用了阿里云的PAI-DSW,就不是新用户了,哪怕等到第二天名额刷新也无法领取赠送的5000CU*H 3个月,如下图:
如果没领到试用资源,这里推荐先去使用ModelScope社区给新用户赠送的100h(如下图),后续再取尝试领取阿里赠送的资源。
part2 程序调试
jupyter的使用大家基本也都会,按照教程实例跟着走就好。用到的包和资源下的也都很快,等待过程中可以通过左上角的标识来分辨是否在运行,变成绿色的运行完成就可以开始下一个了。
参数设置要考虑合理性,太大不仅会使训练时间大大增加,还有爆显存的可能性。这里lora_rank设置的是16,一般都是8的倍数,8,16,32,64等。
图片的提示词prompt可以自定义,一般采用描述性的词语或短语,可以也使用一些短句。描述时要注意连续性,并保证不同图片之间词语的相同/相近,以此保证不同图片间的关联性。
在这里我希望绘制出一个古代女侠客在客栈住宿的故事,故以此扩展,写出8幅图片的提示词。
part3 结果生成
提示词完成之后便可以运行数据集进行训练了,并用训练结果生成目标图像:
part4 总结分析
总体来看完成了ai图片的生成,并且生成的图片按需具有一定的故事性和连贯性,也没有太大的不合理特征,这一点算是成功的。但如果细看就会发现还是有一些逻辑性问题:女侠佩剑长度和款式会发生变化(例如p7和p8),面部特征也会有所出入)(例如p1和其他图图片)。个人猜测是整体的连贯性和特征描述不够,后续应该对提示词多进行一些斟酌和修改,以减少类似的逻辑问题。
橙少东2024.8.8