8月初,魔搭社区联合阿里云天池平台,结合快手旗下开源文生图大模型可图Kolors 模型,推出文生图创作大赛——可图Kolors-LoRA风格故事挑战赛。近1个月来,活动吸引了1338支队伍报名参加,通过系列专题学习和实践活动,社区开发者贡献了700+基于Kolors训练的风格LoRA模型,提交300+初赛作品。最终,通过主观评分(技术运用、风格连贯性、视觉效果)、客观评分(美学打分)两个维度,30支队伍脱颖而出,晋级复赛。
决赛名单
决赛入围作品围观:
https://modelscope.cn/brand/view/Kolors?branch=0&tree=1(含人气LoRA模型奖项公布)
决赛赛题
🌠 赛题:
经典故事再现:可以基于以下经典故事的情节,创作出与之相符的图文故事,8图以上。原创故事续写:也可以在以下经典故事的基础上,发挥想象,创作出全新的图文故事,8图以上。
可选故事列表:
·《西游记》:以唐僧师徒西天取经的奇幻旅程为背景。 ·《三国演义》:以三国时期的政治和军事斗争为背景。 ·《射雕英雄传》:以南宋末年侠义传奇为背景。 ·《甄嬛传》:以清宫后宫的权谋和情感纠葛为背景。 ·《三体》:以宇宙文明的碰撞和人类的生存危机为背景。 ·《哈利波特》:以魔法世界和霍格沃茨的冒险为背景。 ·《灌篮高手》:以高中篮球队的成长和比赛为背景。 ·《蝙蝠侠》:以哥谭市的超级英雄和犯罪斗争为背景。
作品表现形式:图文、PPT、视频等形式不限,详见决赛要求
https://modelscope.cn/brand/view/Kolors?branch=0&tree=0
🕥 时间:
9月9日-下午14:00-17:00 答辩展示,线上决出一二三等奖,很精彩!请预约观看~
决赛秘籍
引言
魔搭官方给出了决赛作品示例,帮助各位选手在决赛中创作出更优质的内容。
以下以《三体》为故事背景,根据“黑暗战役”的故事情节进行了改编,使用Kolors模型微调,生成了 16 张图的漫画。
也可以剪辑成视频进行展示~
以下为详细攻略~
1、人物构建
在这个故事中,主角是《三体》中的人类指挥官“章北海”,由于原作小说中并没有对这一角色外貌的详细描述,我们要自己发挥,构建一个章北海的肖像数据集。
对于这样一位意志坚定的指挥官,我们先想像出他的外貌,用语言表达出来——“太空舰队上,人类军团的指挥官,男性,白发,眼神坚毅,身穿纯白色军装,身上的衣服洁白无暇,美漫风格”,接下来让模型自己生成相应的图像。当然,模型生成的图像必然具有多样性,所以我们在生成的结果中挑选了几张相似的图像。
接下来,我们通过训练角色 LoRA 把这一外貌特征固定下来。在生成的图片中挑选出所有符合这一外貌特征的,构建一个数据集,数据集中每一张图对应的文本描述统一为“章北海”,这样一来,这个角色 LoRA 就可以让模型记住“章北海”这一角色的样子。
2、文案提炼
在构建完整故事的过程中,必然需要提炼出故事的文案,这需要选手们有一定的文学功底。但故事文案有时并不适合作为提示词控制模型生成图像,例如第 10 张图
这一幕展现手放在按钮上方的情景更能体现此时章北海内心的犹豫,同时也提高了整个故事中画面的多样性,因此我们建议文案和提示词分开撰写。
3、细节微调
完善的故事与精美的画面不是一蹴而就的,通常需要多次微调。例如,我们在构建“章北海”的外貌时没有描述眼睛的颜色,所以生成的画面可能包含其他颜色的眼睛,第 4 张图就是一个很好的例子,为了避免这种情况,我们就需要额外调整提示词,尽可能详细地描述人物特征。
此外,画面内容出现渐变式的改变时,固定随机种子,可以使画面保持一定的一致性,例如第 7 张图和第 11 张图中的飞船。不过,使用另一个 LoRA 控制飞船的外观是更合理的做法。
最后不要忘了,LoRA 模型可以叠加多个,在使用角色 LoRA 固定角色外貌的同时,还可以额外使用风格 LoRA 改变整体的画面风格,例如古代故事适合水墨风格,合理利用 LoRA 微调技术,可以创作出美轮美奂的艺术作品!
🌟预祝所有入围决赛的队伍都可以发挥出色,角逐大奖!
点击链接👇阅读原文
https://www.modelscope.cn/brand/view/Kolors?branch=0&tree=0?from=alizishequ__text