达摩卡通化模型介绍
达摩卡通化模型是基于域校准翻译的人像卡通化模型,通过使用者输入一张人物图像,实现端到端全图卡通化转换,生成二次元虚拟形象,返回卡通化后的结果图像。该模型采用一种全新的域校准图像翻译模型DCT-Net(Domain-Calibrated Translation),利用小样本的风格数据,即可得到高保真、强鲁棒、易拓展的人像风格转换模型,并通过端到端推理快速得到风格转换结果。
达摩卡通化模型使用方式和范围
使用方式:
- 直接推理,在任意真实人物图像上进行直接推理;
使用范围:
- 包含人脸的人像照片,人脸分辨率大于100x100,总体图像分辨率小于3000×3000,低质人脸图像建议预先人脸增强处理。
目标场景:
- 艺术创作、社交娱乐、隐私保护场景,自动化生成卡通肖像。
模型的使用和推理流程
使用:
- 在ModelScope框架上,提供输入图片,即可以通过简单的Pipeline调用来使用人像卡通化模型。
推理流程:
预处理
- 人脸关键点检测
- 人脸提取&对齐,得到256x256大小的对齐人脸
推理
- 为控制推理效率,人脸及背景resize到指定大小分别推理,再背景融合得到最终效果;
- 亦可将整图依据人脸尺度整体缩放到合适尺寸,直接单次推理
在线体验
网上找了一张女神的图片上传是体验了一下
返回的数据
原图:
测试完成图:
从上传到转换完成整个过程非常的快耗时很短。体验很好。总体来说转换后的二次元图片看着很舒服,能明显的看出来保持了原图的神韵,并且色调转换也非常的舒服。
总结
这次体验感觉还是很好的,之前在手机上使用过类似的软件去生成二次元头像,以及美化一些照片,软件经过深度开发功能还是丰富一点,如果这个模型可以深度开发一下支持多种二次元的风格并且可以自有配置那么实用性和可玩性就是增加很多。总体来说这个体验还是非常不错的。