人工手绘头像过程演示 AI Maleonn: 一键生成N次元虚拟形象
What we can do
人像风格特效生成任务旨在通过对指定的人像照片进行夸张的艺术风格转换，得到人物的二次元卡通形象、手绘风格、虚拟3D形象等风格化结果，从而实现具有视觉冲击力的人物美化效果，该项技术被广泛应用于图像内容创作、社交娱乐、短视频、直播、人物隐私保护等场景。而现实生活中，人像虚拟风格创作多由画师进行手工绘制或由设计师通过专业的图像编辑软件（例如，Photoshop）制作，但该过程需要创作人员具备专业的绘图/制图技能，制作门槛较高，同时制作过程耗时费力，存在着效率低下、成本高昂的问题；对于用户而言，单张画像的绘制价格在上百元不等，价格高且用时长。
为了零成本低门槛地提供极致酷炫的人像玩法，我们提出了一套人像风格化通用框架「AI Maleonn」AI 版神笔马良，用于一键生成风格百变的人物虚拟形象，在风格上涵盖手绘、3D、日漫、艺术特效、铅笔画等多种风格，同时可以支持面向小样本的专属风格定制，利用少量目标风格图即可实现快速迁移拓展；在处理维度上，不仅适用于生成头部效果，更支持全图精细化纹理转换，兼容多人场景；在模型鲁棒性上，有效克服了多角度姿态、面部遮挡等各类复杂场景，整体稳定性大大提升。
What only we can do
从2020年6月抖音上线人像二次元漫画特效起，AI漫画在日常生活中走入大家的视线，它凭借逼真自然的转换效果，风靡一时。随后，快手、腾讯微视也纷纷基于深度学习推理引擎构建端侧GAN轻量部署框架，提供手机端实时的人像漫画效果。实时的端侧人像特效无疑是给短视频爱好者的一波福利，但由于移动端的硬件和算力有限，实时视频处理的效果往往质量不佳，无法满足精细化的图像转换需求，而一大批基于云服务器处理的神秘力量也在悄悄涌来，包含百度大脑、腾讯云、字节火山引擎在内的各大厂和美图、小视科技、皮卡智能等AI能力供应商纷纷开始投入研发力量，以API调用的形式提供漫画效果，当然我们也是这波浪潮里的一员，在阿里云视觉能力平台率先上线了人像动漫化服务。此后，海外也陆续出现了Toonify、ToonMe、Voila一系列卡通化应用，频频引发热潮。基于GAN的图像生成技术为大家打开了AI漫画纪元的大门，而该类场景也成为GAN在实际落地应用中的绝佳试炼场，但图像生成能力作为学界和业界新兴能力，在落地过程中势必存在着诸多问题和挑战。
经过一轮的技术研发和用户调研，我们发现业界现有的解决方案中普遍存在几个问题：
1.生成效果不佳
a.生成结果存在明显的纹理瑕疵，无法覆盖日常生活中多样化的复杂场景，例如在多角度姿态下贴脸痕迹明显、存在面部遮挡时转换失败；
b.原始人脸的保真度差，相比现实人脸存在内容变形失真、细节丢失等问题。
2.风格效果单一
如百度仅提供二次元动漫形象，腾讯云仅提供一种写实类风格，无法满足多样化、差异化的效果需求。其本质原因在于风格效果的拓展强依赖于数据集，人物卡通数据（无论成对还是非成对）获取都非常困难，在数据均衡性、多样性上往往不足，因而基于小样本的特效生成成为技术难点，而如何利用小样本提升模型在日常多样化场景中的泛化能力更是难上加难。
3.仅支持头部区域，无法全图转换。
ToonMe和Voila等APP在上架后火爆一时，该类方法利用生成界明星模型StyleGAN生成逼真的人物3D效果，但由于模型中明确的语义约束限制，仅能生成头部效果，无法完成全图转换。
针对上述问题，我们进行了新一轮的技术升级，提出一套面向小样本的人像风格转换通用框架，仅需要少量目标风格数据，即可生成逼真自然、效果稳定的N次元人像效果，同时能够以自训练的方式实现快速风格迁移拓展，轻松打造定制化效果。
想要手绘风？
想要迪士尼3D特效？
想要二次元动漫风？
扁平插画可以不？
NBA球星漫画效果？
有配饰、面部遮挡，姿态百变？
试用及快速接入
如果上面的风格都是不是我想要的怎么办？我们建设了一套风格快速迁移框架，少量目标风格数据，无需成对数据标注，即可快速支持。欢迎大家来找我们定制新风格哦，产品需求和相关合作可联系我们。
技术方案
面对千差万别的风格效果和不易获取的稀少数据，我们在经过大量实践后沉淀出一套面向小样本的通用人像风格化框架，整体框架分为4个模块：数据过滤矫正模块、虚拟数据生成模块、数据筛查补全模块、精细化纹理转换模块。
图1. 面向小样本的人像风格特效生成通用框架
●数据过滤矫正模块：过滤原始采集风格图像中的不符合标准的低质图像（主要表现为不含人脸、低人脸分辨率、风格特性不明显），通过人脸关键点检测算法及人脸对齐算法完成人脸区域提取及角度矫正。
●虚拟数据生成模块：针对小样本风格数据，利用深度生成模型进行虚拟数据生成，从而扩增图像数目、增强数据多样性及属性分布均衡性。该模块在大规模真实人脸数据的基础上，基于迁移学习方法对小样本风格化人脸进行学习，通过风格系数融合和人脸ID约束的方式实现风格表征的快速学习，从而能够批量生成大规模的风格化数据；该模块同时内置了属性可控的图像生成算法，能够完成属性解耦及有效方向搜索，从而对缺失类目数据进行快速生成补全。
●数据筛查补全模块：针对野生采集数据中容易存在的类目偏置、属性缺失问题，该模块进行类目筛查及缺失数据补全。模块包含人物姿态分析、面部表情评估、人脸属性识别等理解类深度学习算法，能够对每张图像理解分析，进行类目分类和数值回归，完成数据的平衡性分析及缺失类目评估，并协同虚拟数据生成模块完成缺失数据的自动补全。
●精细化纹理转换模块：该模块用于实现真实人脸图像到风格化形象的纹理转换过程。目前业界通用的人像特效转换方法均遵循一套通用的处理流程，如图*所示，首先基于人脸关键点对面部区域进行提取和对齐，针对人脸区域，通过域转换的方式实现真实脸到卡通脸的纹理风格转换，得到卡通脸；针对背景图像，通过传统图像算法或深度学习方法进行卡通风格转换，得到背景结果，随后通过调色算法将背景色域调整至人脸一致，最后通过融合的方式得到最终处理结果。但该方式由于人脸和背景分开处理，风格协调性相对较差，在融合过程中极容易出现纹理拼接痕迹、色彩过渡不自然问题；另一方面，人脸转换模型很大程度上依赖语义位置信息进行目标合成，从而导致模型的鲁棒性、泛化性不足，容易在包含面部遮挡及特殊姿态的场景下产生纹理瑕疵，且原始人脸保真度难以保证。因此，在该模块的实现上我们抛弃了业界通用的人脸处理流程，改为一种有人脸感知意识的真“end-to-end”纹理转换模型，在实现夸张人脸转换的同时实现相对写实的背景转换，能够有效解决上述系列问题，同时在多人模式下单次推理即可得到最终结果，you only need to look once! 感兴趣的同学欢迎关注我们后续的相关paper。
图2. 业界通用的人脸处理流程
图3. 有感知意识的全图转换方法
结语
欢迎大家积极试用反馈，共同探索更多的业务场景和落地空间。
欢迎对图像生成GAN感兴趣的小伙伴联系我们，一起创造更多可能
在线试用可点击：https://vision.aliyun.com/experience/detail?&tagName=facebody&children=GenerateHumanAnimeStyle
