雷锋网 AI 科技评论按:第 33 届人工智能顶级国际会议 AAAI 2018 论文收录结果目前已公布,其中就收录了同济大学「智能大数据可视化实验室」开发的绘图机器人 AI-Sketcher 的相关论文。
AI-Sketcher 是一款能够根据用户的简单输入而自动生成高质量简笔画(草图)的人工智能绘图机器人。该技术是对现有相关技术的全方位拓展,极大的改善了现有技术所生成简笔画质量不高、无法精确生成多种类简笔画等一系列关键性问题,从而让这项技术更加贴近于实际应用。从技术角度而言,AI-Sketcher 是一个基于「变分自动编码器(VAE)」的深度生成模型,它在传统 VAE 的基础上引入了新的数据编码方式,通过采用综合使用构成草图的笔画信息以及笔画之间的相对位置信息等措施,极大的提高了设计草图的生成质量。
图 1:基于不同模型的表情生成。其中,AI-Sketcher 拥有最佳的生成表现。
为了评估 AI-Sketcher 的性能,iDVX 实验室中设计专业的同学们,创建了一个包含有 500 余万张卡通人物表情的 Sketch 数据集 FaceX [1]。基于该数据集,目前,AI-Sketcher 被训练用来自动生成卡通人物的 7 种不同表情(如图 1 所示)。可以看到,相较之已有技术,AI-Sketcher 在学习绘制简笔画的过程中可以更好地捕捉到笔画之间的相对位置关系,从而极大的避免了生成结果的扭曲变形,进一步保证了绘图质量。图 2 展示了 AI-Sketcher 以及其他相关模型在多类别物体生成上的结果(该实验基于 Google QuickDraw 数据集 [2])。在这方面,AI-Sketcher 也突显出了其在绘图质量上的优势。
图 2:基于 Quick Draw 数据集的多类别草图生成。AI-Sketcher 依然提供了最佳质量的生成结果。
在图 3 的例子中,AI-Sketcher 对用户的输入进行优化,从而弥补用户手绘作品本身线条不光滑、不连贯、不够形象生动等缺憾。并通过直接生成较高质量的矢量图形,避免了图像低分辨率的问题,为设计师提供了新的高效智能化设计辅助工具。
图 3:根据用户输入自动在线生成拥有更高质量的简笔画
图 3:应用场景
AI-Sketcher 技术有着丰富的应用前景。首先利用该技术可以很快生成大量高质量的矢量图,为设计师制作海报、广告、动画、卡通等过程提供更多更好的素材,以提高设计师的工作效率;其次,该技术可以让设计师更快更好地表达其设计思维,为绘制故事板,绘制设计草图等工作提供了极大的便利。同时,该系统还可以用来辅助设计师进行创意性的工作,如根据其输入生成大量可以用来参考的设计草图。
via:同济大学智能大数据可视化实验室(Intelligent Big Data Visualization Lab,即 iDVX Lab)雷锋网(公众号:雷锋网)