基于域校准翻译的人像卡通化模型测评
模型描述
该任务采用一种全新的域校准图像翻译模型DCT-Net(Domain-Calibrated Translation),利用小样本的风格数据,即可得到高保真、强鲁棒、易拓展的人像风格转换模型,并通过端到端推理快速得到风格转换结果。
使用方式和范围
使用方式:
● 直接推理,在任意真实人物图像上进行直接推理;
使用范围:
● 包含人脸的人像照片,人脸分辨率大于100x100,总体图像分辨率小于3000×3000,低质人脸图像建议预先人脸增强处理。
目标场景:
● 艺术创作、社交娱乐、隐私保护场景,自动化生成卡通肖像。
如何使用
在ModelScope框架上,提供输入图片,即可以通过简单的Pipeline调用来使用人像卡通化模型。
代码范例
import cv2
from modelscope.hub.snapshot_download import snapshot_download
from modelscope.pipelines import pipeline
model_dir = snapshot_download('damo/cv_unet_person-image-cartoon_compound-models', cache_dir='.')
img_cartoon = pipeline('image-portrait-stylization', model=model_dir)
result = img_cartoon('input.png')
cv2.imwrite('result.png', result['output_img'])
print('finished!')
模型局限性以及可能的偏差
● 低质/低分辨率人脸图像由于本身内容信息丢失严重,无法得到理想转换效果,可预先采用人脸增强模型预处理图像解决;
● 小样本数据涵盖场景有线,人脸暗光、阴影干扰可能会影响生成效果。
训练数据介绍
训练数据从公开数据集(COCO等)、互联网搜索人像图像,并进行标注作为训练数据。
● 真实人脸数据FFHQ常用的人脸公开数据集,包含7w人脸图像;
● 卡通人脸数据,互联网搜集,100+张
模型推理流程
预处理
● 人脸关键点检测
● 人脸提取&对齐,得到256x256大小的对齐人脸
推理
● 为控制推理效率,人脸及背景resize到指定大小分别推理,再背景融合得到最终效果;
● 亦可将整图依据人脸尺度整体缩放到合适尺寸,直接单次推理
引用
如果该模型对你有所帮助,请引用相关的论文:
@inproceedings{men2022domain,
title={DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Lian, Zhouhui and Xie, Xuansong},
journal={ACM Transactions on Graphics (TOG)},
volume={41},
number={4},
pages={1--9},
year={2022}
}
测评
原图:
人像卡通化模型: