体验达摩卡通化模型

简介: 输入一张人物图像,实现端到端全图卡通化转换,生成二次元虚拟形象,返回卡通化后的结果图像。

image.png

达摩卡通化模型介绍

达摩卡通化模型是基于域校准翻译的人像卡通化模型,通过使用者输入一张人物图像,实现端到端全图卡通化转换,生成二次元虚拟形象,返回卡通化后的结果图像。该模型采用一种全新的域校准图像翻译模型DCT-Net(Domain-Calibrated Translation),利用小样本的风格数据,即可得到高保真、强鲁棒、易拓展的人像风格转换模型,并通过端到端推理快速得到风格转换结果。

达摩卡通化模型使用方式和范围

使用方式:

  • 直接推理,在任意真实人物图像上进行直接推理;

使用范围:

  • 包含人脸的人像照片,人脸分辨率大于100x100,总体图像分辨率小于3000×3000,低质人脸图像建议预先人脸增强处理。

目标场景:

  • 艺术创作、社交娱乐、隐私保护场景,自动化生成卡通肖像。

模型的使用和推理流程

使用:

  • 在ModelScope框架上,提供输入图片,即可以通过简单的Pipeline调用来使用人像卡通化模型。

推理流程:
预处理

  • 人脸关键点检测
  • 人脸提取&对齐,得到256x256大小的对齐人脸

推理

  • 为控制推理效率,人脸及背景resize到指定大小分别推理,再背景融合得到最终效果;
  • 亦可将整图依据人脸尺度整体缩放到合适尺寸,直接单次推理

在线体验

网上找了一张女神的图片上传是体验了一下
image.png
返回的数据
image.png
原图:2.jpg
测试完成图:image.png

从上传到转换完成整个过程非常的快耗时很短。体验很好。总体来说转换后的二次元图片看着很舒服,能明显的看出来保持了原图的神韵,并且色调转换也非常的舒服。

总结

这次体验感觉还是很好的,之前在手机上使用过类似的软件去生成二次元头像,以及美化一些照片,软件经过深度开发功能还是丰富一点,如果这个模型可以深度开发一下支持多种二次元的风格并且可以自有配置那么实用性和可玩性就是增加很多。总体来说这个体验还是非常不错的。

目录
相关文章
|
8月前
|
人工智能 机器人 人机交互
哥大华人开发人脸机器人,照镜子自主模仿人类表情超逼真
【4月更文挑战第3天】哥伦比亚大学研究人员开发了一款名为Emo的机器人,能观察并模仿人类面部表情,实现更自然的人机交互。Emo配备26个面部执行器和高分辨率摄像头,通过“自我建模”学习模仿表情,并能预测人类表情变化。这一创新有望改善人机理解和响应情绪的能力,应用于教育、医疗等领域,但也引发了关于情感依赖和伦理问题的讨论。
135 4
哥大华人开发人脸机器人,照镜子自主模仿人类表情超逼真
|
人工智能 Linux 开发工具
真人AI写真的制作方法-文生图换脸
AI写真最近火起来了,特别是某款现象级相机的出现,只需要上传自己的照片,就能生成漂亮的写真照,这一产品再次带火了AI绘画。今天我就来分享一个使用Stable Diffusion WebUI制作真人AI写真的方法,不用训练,快速出图。
860 1
|
8月前
|
机器学习/深度学习 自然语言处理 计算机视觉
CVPR 2024:生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
【4月更文挑战第14天】中山大学和微信团队的研究者提出 SingDiffusion,一种解决扩散模型在处理极端亮度图像时的平均亮度问题的新方法。SingDiffusion 可无缝集成到预训练模型中,无需额外训练,通过处理 t=1 时间步长的采样问题,改善了图像生成的亮度偏差。在 COCO 数据集上的实验显示,相较于现有模型,SingDiffusion 在 FID 和 CLIP 分数上表现更优。
92 7
CVPR 2024:生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
|
8月前
|
人工智能 算法 搜索推荐
淘宝人生2的AIGC技术应用——虚拟人写真算法技术方案
淘宝人生2的AIGC技术应用——虚拟人写真算法技术方案
169 0
|
8月前
|
物联网
ChilloutMix几个模型的区别——专注东方面孔人像生成
ChilloutMix几个模型的区别——专注东方面孔人像生成
943 0
|
8月前
|
小程序 开发者
游戏开发者的视觉盲区
游戏开发者的视觉盲区
70 0
|
机器学习/深度学习 人工智能 自然语言处理
借助AIGC实现人物写真和服装试穿
大家都知道,最近两名人工智能技术的高速发展,让越来越多的企业开始关注如何将人工智能技术应用到自己的业务中。阿里云作为业内领先的云计算服务提供商,其智能开放平台在人工智能领域的技术积累和应用能力方面处于领先地位。接下来将结合阿里云的视觉智能开放平台来聊一下借助AIGC实现人物写真和服装试穿等功能。
528 1
借助AIGC实现人物写真和服装试穿
|
达摩院 算法 计算机视觉
一键抹去瑕疵、褶皱:深入解读达摩院高清人像美肤模型ABPN(2)
一键抹去瑕疵、褶皱:深入解读达摩院高清人像美肤模型ABPN
500 1
|
机器学习/深度学习 编解码 达摩院
一键抹去瑕疵、褶皱:深入解读达摩院高清人像美肤模型ABPN
一键抹去瑕疵、褶皱:深入解读达摩院高清人像美肤模型ABPN
351 0
|
搜索推荐 数据安全/隐私保护 UED
达摩卡通化模型的体验
目标场景:艺术创作、社交娱乐、隐私保护场景,自动化生成卡通肖像。
达摩卡通化模型的体验