体验达摩卡通化模型

简介: 输入一张人物图像,实现端到端全图卡通化转换,生成二次元虚拟形象,返回卡通化后的结果图像。

image.png

达摩卡通化模型介绍

达摩卡通化模型是基于域校准翻译的人像卡通化模型,通过使用者输入一张人物图像,实现端到端全图卡通化转换,生成二次元虚拟形象,返回卡通化后的结果图像。该模型采用一种全新的域校准图像翻译模型DCT-Net(Domain-Calibrated Translation),利用小样本的风格数据,即可得到高保真、强鲁棒、易拓展的人像风格转换模型,并通过端到端推理快速得到风格转换结果。

达摩卡通化模型使用方式和范围

使用方式:

  • 直接推理,在任意真实人物图像上进行直接推理;

使用范围:

  • 包含人脸的人像照片,人脸分辨率大于100x100,总体图像分辨率小于3000×3000,低质人脸图像建议预先人脸增强处理。

目标场景:

  • 艺术创作、社交娱乐、隐私保护场景,自动化生成卡通肖像。

模型的使用和推理流程

使用:

  • 在ModelScope框架上,提供输入图片,即可以通过简单的Pipeline调用来使用人像卡通化模型。

推理流程:
预处理

  • 人脸关键点检测
  • 人脸提取&对齐,得到256x256大小的对齐人脸

推理

  • 为控制推理效率,人脸及背景resize到指定大小分别推理,再背景融合得到最终效果;
  • 亦可将整图依据人脸尺度整体缩放到合适尺寸,直接单次推理

在线体验

网上找了一张女神的图片上传是体验了一下
image.png
返回的数据
image.png
原图:2.jpg
测试完成图:image.png

从上传到转换完成整个过程非常的快耗时很短。体验很好。总体来说转换后的二次元图片看着很舒服,能明显的看出来保持了原图的神韵,并且色调转换也非常的舒服。

总结

这次体验感觉还是很好的,之前在手机上使用过类似的软件去生成二次元头像,以及美化一些照片,软件经过深度开发功能还是丰富一点,如果这个模型可以深度开发一下支持多种二次元的风格并且可以自有配置那么实用性和可玩性就是增加很多。总体来说这个体验还是非常不错的。

目录
相关文章
|
9月前
|
人工智能 机器人 人机交互
哥大华人开发人脸机器人,照镜子自主模仿人类表情超逼真
【4月更文挑战第3天】哥伦比亚大学研究人员开发了一款名为Emo的机器人,能观察并模仿人类面部表情,实现更自然的人机交互。Emo配备26个面部执行器和高分辨率摄像头,通过“自我建模”学习模仿表情,并能预测人类表情变化。这一创新有望改善人机理解和响应情绪的能力,应用于教育、医疗等领域,但也引发了关于情感依赖和伦理问题的讨论。
163 4
哥大华人开发人脸机器人,照镜子自主模仿人类表情超逼真
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
VMB:中科院联合多所高校推出多模态音乐生成框架,能够通过文本、图像和视频等多种输入生成音乐
VMB(Visuals Music Bridge)是由中科院联合多所高校机构推出的多模态音乐生成框架,能够从文本、图像和视频等多种输入模态生成音乐。该框架通过文本桥接和音乐桥接解决了数据稀缺、跨模态对齐弱和可控性有限的问题。
83 7
VMB:中科院联合多所高校推出多模态音乐生成框架,能够通过文本、图像和视频等多种输入生成音乐
|
3月前
|
数据采集 人工智能 自然语言处理
关于大模型语料的迷思
随着大模型发展的不断深入,我们越来越关注到语料质量对模型能力的影响,语料中的偏差和主观性会导致生成内容不准确或带有偏见。智能引擎事业部是阿里内部深耕多年的AI工程团队,为内部业务提供了完整的大模型工程体系,持续关注大模型训推性能、成本、研发范式等关键问题。本文将基于我们的思考,探讨大模型语料的复杂性及其背后的思维过程。
|
5月前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现深度学习模型:智能电影制作与剪辑
使用Python实现深度学习模型:智能电影制作与剪辑
198 5
|
8月前
|
文字识别 Linux API
视觉智能开放平台产品使用合集之图像构图美学评分的标准是什么
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
9月前
|
人工智能
FaceChain集成最强开源SDXL,生成人像质感拉满!
FaceChain集成最强开源SDXL,生成人像质感拉满!
104 2
|
自然语言处理 数据挖掘 程序员
实现虚拟人直播带货具体实现需要哪些步骤
实现虚拟人直播带货具体实现需要哪些步骤
210 1
|
机器学习/深度学习 人工智能 自然语言处理
借助AIGC实现人物写真和服装试穿
大家都知道,最近两名人工智能技术的高速发展,让越来越多的企业开始关注如何将人工智能技术应用到自己的业务中。阿里云作为业内领先的云计算服务提供商,其智能开放平台在人工智能领域的技术积累和应用能力方面处于领先地位。接下来将结合阿里云的视觉智能开放平台来聊一下借助AIGC实现人物写真和服装试穿等功能。
543 1
借助AIGC实现人物写真和服装试穿
|
人工智能
多模态大模型的下一站在哪里?
多模态大模型的下一站在哪里?
223 1
|
搜索推荐 数据安全/隐私保护 UED
达摩卡通化模型的体验
目标场景:艺术创作、社交娱乐、隐私保护场景,自动化生成卡通肖像。
达摩卡通化模型的体验