基于域校准翻译的人像卡通化模型测评
模型描述
该任务采用一种全新的域校准图像翻译模型DCT-Net（Domain-Calibrated Translation），利用小样本的风格数据，即可得到高保真、强鲁棒、易拓展的人像风格转换模型，并通过端到端推理快速得到风格转换结果。
使用方式和范围
使用方式：
● 直接推理，在任意真实人物图像上进行直接推理;
使用范围:
● 包含人脸的人像照片，人脸分辨率大于100x100，总体图像分辨率小于3000×3000，低质人脸图像建议预先人脸增强处理。
目标场景:
● 艺术创作、社交娱乐、隐私保护场景，自动化生成卡通肖像。
如何使用
在ModelScope框架上，提供输入图片，即可以通过简单的Pipeline调用来使用人像卡通化模型。
代码范例
import cv2
from modelscope.hub.snapshot_download import snapshot_download
from modelscope.pipelines import pipeline
model_dir = snapshot_download('damo/cv_unet_person-image-cartoon_compound-models', cache_dir='.')
img_cartoon = pipeline('image-portrait-stylization', model=model_dir)
result = img_cartoon('input.png')
cv2.imwrite('result.png', result['output_img'])
print('finished!')
模型局限性以及可能的偏差
● 低质/低分辨率人脸图像由于本身内容信息丢失严重，无法得到理想转换效果，可预先采用人脸增强模型预处理图像解决；
● 小样本数据涵盖场景有线，人脸暗光、阴影干扰可能会影响生成效果。
训练数据介绍
训练数据从公开数据集（COCO等）、互联网搜索人像图像，并进行标注作为训练数据。
● 真实人脸数据FFHQ常用的人脸公开数据集，包含7w人脸图像；
● 卡通人脸数据，互联网搜集，100+张
模型推理流程
预处理
● 人脸关键点检测
● 人脸提取&对齐，得到256x256大小的对齐人脸
推理
● 为控制推理效率，人脸及背景resize到指定大小分别推理，再背景融合得到最终效果；
● 亦可将整图依据人脸尺度整体缩放到合适尺寸，直接单次推理
引用
如果该模型对你有所帮助，请引用相关的论文：
@inproceedings{men2022domain,
title={DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Lian, Zhouhui and Xie, Xuansong},
journal={ACM Transactions on Graphics (TOG)},
volume={41},
number={4},
pages={1--9},
year={2022}
}
测评
原图：
人像卡通化模型：
