超火的漫画线稿上色AI出新版了!无监督训练,效果更美好 | 代码+Demo

简介:
本文来自AI新媒体量子位(QbitAI)

给喜欢的动漫形象建个了收藏夹,里面收集她的各种图片……懂,谁没几个喜欢的动漫萌妹呢。

一些手绘线稿也很可爱,但黑白配色总会略显单调。

54c3118da623c180146957ee0e0e2206adc9695c

 请记住这张线稿

半年前线稿上色AI style2paints的破壳曾让自动上色火了一阵。好消息是,昨天,升级版本style2paints 2.0也问世了!

Demo也一并放出,用户可以随意试玩~

4b9ceeb45ff8ce810683a5df546818d660c2c927

 Demo界面

据作者说,style2paints 2.0比一代效果更好,而且模型的训练过程是无监督的。

效果惊艳

只需线稿一张,轻点一下,就能给你珍藏的心爱萌妹上个色。

63b1ada175ad7e3bfc896547c158e386f19420ca

 上面线稿的转换效果

赞赞的!不仅如此,换一张其他的彩色参考图,也能将线稿转化成另一种颜色风格。

比如我们输入下面这张参考图:

2d80492889e8ef6cc20fdbaba398a63792a22cb9

上面那张示例图就变成了下面的效果——

5bb7136307285d45b472b26d17a6182620656188

还可以从参考图中选取颜色,然后用笔在线稿的某个区域上点一下,AI就会按你的提示去重新填充——

9f68b7b6e1cba6d66e8d78ae163e396068163988

支持微调的线稿上色软件不止一家,不过作者介绍说,和同类软件相比,style2paints的“提示笔”是最精确的,用户可以用3×3的笔迹,在1024×2048的画面上,控制13×13的区域。

为了确保最终画作颜色协调,style2paints还玩了一点小心机:用户不能自己输入颜色,只能从参考图上选。

 使用教程

并不简单

玩得尽兴之后,你可能会说,风格迁移嘛,我们见得多了~

但是,把黑白照片变成彩色照片,和把没有阴影高光的线稿变成彩色图画难度不同。

这种由纯线条构成的草图不包含图案的明暗和纹理。也就是说,AI需要自动脑补出这些信息。

何况style2paints作者对线稿上色的期望,实在是比较高,并不是在线条之间填一些颜色就完事了:

在一幅好漫画里,妹纸的眼睛要像星系一样闪亮,脸颊要弥漫着红晕,皮肤要精致迷人。

831995e81bd46b051d441a71405678febb91f0ba

 大概是这个效果吧

这怎么做得到!

style2paints 2.0目前还没有相关论文放出,只有代码可供参考。不过,今年6月问世的第一版其实效果还可以,实现了基于语义信息迁移的颜色提示,让上色效果更加和谐。

具体的原理可以看当时的论文Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN
,来自苏州大学的三位作者Lvmin Zhang, Yi Ji, Xin Lin介绍了怎样将集合的剩余U-Net样式应用到灰度图中,并借助分类器生成的对抗网络(AC-GAN)自动为图像上色。生成过程迅速,效果尚好。

论文地址:
https://arxiv.org/abs/1706.03319

不一样的2.0

style2paints第一版推出之后非常火,量子位的不少朋友都上手玩过。

不过,他们的主要竞品paintschainer不停迭代,后来,上色的效果渐渐超越了style2paints 1.0,于是,作者们也坐不住了,开始研究新方法,更新了一版出来。

那么,2.0和1.0有什么不一样吗?

巧了,国外的网友也很关心。作者在Reddit上回答说,和上一版相比,style2paints 2.0大部分训练都是纯粹无监督,甚至无条件的。

也就是说,在这个模型的训练过程中,除了对抗规则之外没有添加其他的人工定义规则,没有规则来强迫生成器神经网络照着线稿画画,而是靠神经网络自己发现,如果遵照线稿,会更容易骗过鉴别器。

pix2pix、CycleGAN等同类模型为了确保收敛,会对学习对象添加l1 loss,鉴别器接收到的数据是成对的[input, training data]和[input, fake output]。而style2paints 2.0模型的学习目标和经典DCGAN完全相同,没有添加其他规则,鉴别器收到的也不是成对的输出。

作者说,让这样一个模型收敛其实是很难的,何况神经网络这么深。

不过你看,结果还不错。

线稿上色的江湖

线稿上色的程序,其实有很多,比如说:

Paintschainer
https://paintschainer.preferred.tech/index_en.html

Deepcolor
https://github.com/kvfrans/deepcolor

Auto-painter
https://arxiv.org/abs/1705.01908

除了paintschainer,其他的同类产品其实作者是不太看得上的。

他说,很多亚洲论文都号称能迁移漫画风格,但是仔细看论文,会发现他们所谓的“新方法”就是个调整过的VGG,虽说VGG在风格迁移任务上普遍表现不错,但是用在漫画上,效果总是不怎么好。

还是得靠GAN,而且得允许用户上传风格参考图,像Prisma那样从莫奈梵高里选可不行,莫奈梵高又不会画漫画。

试试不?

上手玩一下Demo:
http://paintstransfer.com/

论文还没出来,不过可以看源代码呀:
https://github.com/lllyasviel/style2paints

作者对上一版的介绍:
https://zhuanlan.zhihu.com/p/29331219

本文作者:夏乙 安妮
原文发布时间:2017-12-29 
相关文章
|
1天前
|
人工智能 自然语言处理 API
Cline:29.7K Star!一文详解VSCode最强开源AI编程搭子:一键生成代码+自动跑终端+操控浏览器...
Cline 是一款集成于 VSCode 的 AI 编程助手,支持多语言模型,实时检查语法错误,帮助开发者提高编程效率。通过智能化手段,Cline 可以生成代码、执行终端命令、调试 Web 应用,并扩展更多功能。
63 5
|
3天前
|
人工智能 自然语言处理 测试技术
Potpie.ai:比Copilot更狠!这个AI直接接管项目代码,自动Debug+测试+开发全搞定
Potpie.ai 是一个基于 AI 技术的开源平台,能够为代码库创建定制化的工程代理,自动化代码分析、测试和开发任务。
91 19
Potpie.ai:比Copilot更狠!这个AI直接接管项目代码,自动Debug+测试+开发全搞定
|
6天前
|
人工智能 小程序 程序员
【视频测评 DEMO 参考】VSCode 神级 AI 插件通义灵码:完全免费+实战教程+微信贪吃蛇小程序
VSCode 神级 AI 插件通义灵码:完全免费+实战教程+微信贪吃蛇小程序
153 7
|
6天前
|
人工智能 Linux 开发工具
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
Kiln AI 是一款开源的 AI 开发工具,支持零代码微调多种语言模型,生成合成数据,团队协作开发,自动部署。帮助用户快速构建高质量的 AI 模型。
396 7
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
|
11天前
|
人工智能 自然语言处理 IDE
6 款 AI 工具,助力写出更优质代码
6 款 AI 工具,助力写出更优质代码
124 3
6 款 AI 工具,助力写出更优质代码
|
13天前
|
机器学习/深度学习 人工智能 计算机视觉
MILS:无需对LLM进行额外训练就能处理多模态任务,Meta AI提出零样本生成多模态描述方法
MILS 是 Meta AI 推出的零样本生成高质量多模态描述方法,支持图像、视频和音频的描述生成,无需额外训练。
102 34
MILS:无需对LLM进行额外训练就能处理多模态任务,Meta AI提出零样本生成多模态描述方法
|
14天前
|
人工智能 物联网 开发者
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
Oumi 是一个完全开源的 AI 平台,支持从 1000 万到 4050 亿参数的模型训练,涵盖文本和多模态模型,提供零样板代码开发体验。
204 43
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
|
30天前
|
人工智能 达摩院 计算机视觉
SHMT:体验 AI 虚拟化妆!阿里巴巴达摩院推出自监督化妆转移技术
SHMT 是阿里达摩院与武汉理工等机构联合研发的自监督化妆转移技术,支持高效妆容迁移与动态对齐,适用于图像处理、虚拟试妆等多个领域。
76 9
SHMT:体验 AI 虚拟化妆!阿里巴巴达摩院推出自监督化妆转移技术
|
1月前
|
人工智能 JavaScript 前端开发
一段 JavaScript 代码,集成网站AI语音助手
根据本教程,只需通过白屏化的界面操作,即可快速构建一个专属的AI智能体。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
三行代码实现实时语音转文本,支持自动断句和语音唤醒,用 RealtimeSTT 轻松创建高效语音 AI 助手
RealtimeSTT 是一款开源的实时语音转文本库,支持低延迟应用,具备语音活动检测、唤醒词激活等功能,适用于语音助手、实时字幕等场景。
202 18
三行代码实现实时语音转文本,支持自动断句和语音唤醒,用 RealtimeSTT 轻松创建高效语音 AI 助手

热门文章

最新文章