体验达摩卡通化模型

简介: 输入一张人物图像,实现端到端全图卡通化转换,生成二次元虚拟形象,返回卡通化后的结果图像。

image.png

达摩卡通化模型介绍

达摩卡通化模型是基于域校准翻译的人像卡通化模型,通过使用者输入一张人物图像,实现端到端全图卡通化转换,生成二次元虚拟形象,返回卡通化后的结果图像。该模型采用一种全新的域校准图像翻译模型DCT-Net(Domain-Calibrated Translation),利用小样本的风格数据,即可得到高保真、强鲁棒、易拓展的人像风格转换模型,并通过端到端推理快速得到风格转换结果。

达摩卡通化模型使用方式和范围

使用方式:

  • 直接推理,在任意真实人物图像上进行直接推理;

使用范围:

  • 包含人脸的人像照片,人脸分辨率大于100x100,总体图像分辨率小于3000×3000,低质人脸图像建议预先人脸增强处理。

目标场景:

  • 艺术创作、社交娱乐、隐私保护场景,自动化生成卡通肖像。

模型的使用和推理流程

使用:

  • 在ModelScope框架上,提供输入图片,即可以通过简单的Pipeline调用来使用人像卡通化模型。

推理流程:
预处理

  • 人脸关键点检测
  • 人脸提取&对齐,得到256x256大小的对齐人脸

推理

  • 为控制推理效率,人脸及背景resize到指定大小分别推理,再背景融合得到最终效果;
  • 亦可将整图依据人脸尺度整体缩放到合适尺寸,直接单次推理

在线体验

网上找了一张女神的图片上传是体验了一下
image.png
返回的数据
image.png
原图:2.jpg
测试完成图:image.png

从上传到转换完成整个过程非常的快耗时很短。体验很好。总体来说转换后的二次元图片看着很舒服,能明显的看出来保持了原图的神韵,并且色调转换也非常的舒服。

总结

这次体验感觉还是很好的,之前在手机上使用过类似的软件去生成二次元头像,以及美化一些照片,软件经过深度开发功能还是丰富一点,如果这个模型可以深度开发一下支持多种二次元的风格并且可以自有配置那么实用性和可玩性就是增加很多。总体来说这个体验还是非常不错的。

目录
相关文章
|
机器学习/深度学习 人工智能 算法
【视觉智能产品速递——人物动漫化能力上新】
VIAPI—人物动漫化!新增风格版本发布。 产品功能:人物动漫化——输入一张人物图像,生成其二次元卡通形象,返回卡通化后的结果图像。 🔥🔥🔥 本次更新风格:国风工笔画、港漫风
681 1
【视觉智能产品速递——人物动漫化能力上新】
|
人工智能 Linux 开发工具
真人AI写真的制作方法-文生图换脸
AI写真最近火起来了,特别是某款现象级相机的出现,只需要上传自己的照片,就能生成漂亮的写真照,这一产品再次带火了AI绘画。今天我就来分享一个使用Stable Diffusion WebUI制作真人AI写真的方法,不用训练,快速出图。
843 1
|
5月前
|
文字识别 Linux API
视觉智能开放平台产品使用合集之图像构图美学评分的标准是什么
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
6月前
|
机器学习/深度学习 自然语言处理 计算机视觉
CVPR 2024:生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
【4月更文挑战第14天】中山大学和微信团队的研究者提出 SingDiffusion,一种解决扩散模型在处理极端亮度图像时的平均亮度问题的新方法。SingDiffusion 可无缝集成到预训练模型中,无需额外训练,通过处理 t=1 时间步长的采样问题,改善了图像生成的亮度偏差。在 COCO 数据集上的实验显示,相较于现有模型,SingDiffusion 在 FID 和 CLIP 分数上表现更优。
77 7
CVPR 2024:生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
|
6月前
|
人工智能
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-2
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-2
|
6月前
|
机器学习/深度学习 人工智能 算法
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-1
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-1
|
6月前
|
物联网
ChilloutMix几个模型的区别——专注东方面孔人像生成
ChilloutMix几个模型的区别——专注东方面孔人像生成
767 0
|
6月前
|
小程序 开发者
游戏开发者的视觉盲区
游戏开发者的视觉盲区
63 0
|
物联网 开发者 异构计算
facechain人物写真生成工业级开源
facechain人物写真应用自8月11日开源了第一版证件照生成后。目前在github(GitHub - modelscope/facechain: FaceChain is a deep-learning toolchain for generating your Digital-Twin.)上已有5.7K的star,论文链接:FaceChain: A Playground for Identity-Preserving Portrait Generation:https://arxiv.org/abs/2308.14256。
760 4
|
机器学习/深度学习 人工智能 自然语言处理
借助AIGC实现人物写真和服装试穿
大家都知道,最近两名人工智能技术的高速发展,让越来越多的企业开始关注如何将人工智能技术应用到自己的业务中。阿里云作为业内领先的云计算服务提供商,其智能开放平台在人工智能领域的技术积累和应用能力方面处于领先地位。接下来将结合阿里云的视觉智能开放平台来聊一下借助AIGC实现人物写真和服装试穿等功能。
494 1
借助AIGC实现人物写真和服装试穿