AI把爱豆变胖视频火遍B站,我们找到了背后的技术团队:你是怎么把刘亦菲变胖的?

简介: AI把爱豆变胖视频火遍B站,我们找到了背后的技术团队:你是怎么把刘亦菲变胖的?

刘亦菲有多漂亮就不用我多介绍了。

单是她那“优越的颅顶”,就已经足够上一次热搜了。

有个网友在刘亦菲脑壳上画了个圈圈,简直是照着篮球长得嘛,还有网友表示,“竟然觉得她光头也一定好看”。

不过网友们没能等来刘亦菲剃光头,却等来了刘亦菲变胖!

近期,一位名叫“AIworks”的B站UP主发布了一个AI模拟女明星变胖后的视频,视频中“四小花旦”变胖的逼真效果引发网友热议,被网友称为“大型减肥教育片”。

这个视频发布后在b站引发了一波“爱豆”变胖热潮,我们也第一时间与视频UP主取得了联系,详细问了问他是怎么把刘亦菲变胖的。

从刘亦菲到“刘大姐”,中间只差了个AI!

揭秘之前,咱们先一起来看看效果,看着这法令纹,这双下巴,这赘肉,要不是知道她们原来的样子,很难分清这是AI的作用。

那这背后是什么技术呢?

经常关注文摘的同学应该对这样的技术不陌生了,像之前报道的styleGAN人脸风格变换,都是对GAN(对抗生成网络)的应用,但是从效果来看,这个作品在细节方面有了很大的进步,尤其是在动态视频中的表现效果,已经达到了以假乱真的地步。

对此UP主在接受采访时也告诉我们,这个作品是他利用爱奇艺的一款小程序完成的,可以支持多种人脸编辑,包括变老、长胡子、变男变女等。

跟爱奇艺相关技术团队PersonAI沟通后我们得知,这款神奇的小程序主要也是用到了GAN的技术,变胖这个效果主要是PersonAI自研的GAN生成技术,借鉴了开源的StarGan的域迁移生成方案,同时加上了传统warp变胖的图到图约束loss、身份约束loss、真实度感知loss等多种训练loss,还取了个非常直白的名字——FatGAN。

之所以能够取得比styleGAN更好的效果,PersonAI团队也费了一番功夫:“(我们的方法)与styleGAN不同,styleGAN生成的特征不连续,在人脸角度比较大的时候生成的效果不稳定,真实的图像编辑效果差,这些都导致无法在真实视频中得到较好的效果。”

至于为什么能够产生法令纹、双下巴这些细节,PersonAI团队负责人首先称赞了网友们的“火眼金睛”,“网友们的眼睛还是很尖的,”

“在刚开始做的时候,发现收集的微胖人群数据集里面,微胖人群的法令纹也确实会比瘦子的深一些多一点,因此在域迁移GAN生成网络里面特意加了纹理约束来表征法令纹等一些微胖人群特有的细节。”

算法来自爱奇艺,“胖出法令纹”网友直呼细节真实

采访中,PersonAI团队负责人也表示,FatGAN生成人脸的五官与身份保持得很好,归因于团队的千万级人脸识别模型的特征比较鲁棒,微胖数据也是利用该团队的人脸属性模型在爱奇艺海量的视频素材库里面收集的。

在“四小花旦”的视频在b站爆火后,up主又把目光投向了男明星们,第一个中招的就是易烊千玺。

胖起来就泯然众人的哥哥们,甚至让有的网友产生了这样的想法:

这也体现了FatGAN的逼真的效果——既照顾到了真实的微胖是什么样子,又能保持与原对象本身的相似度。

为了做到这两点,爱奇艺PersonAI团队克服了重重困难:“目前常见的模拟变胖变瘦的效果,基本上都是通过人脸图像warp的方式来实现的,这种方法没有法令纹等微胖人群的真实细节特征,而FatGAN通过添加属性、感知、边缘纹理等多种约束,使得生成的变胖效果更加真实。”

为了让生成的图像更像本人,FatGAN需要能较好地保持身份信息,为了做到这一点,利用了团队内部的千万级人脸识别模型,提取生成前后的人脸图像多尺度身份特征进行约束。同时,采用传统warp变胖的效果进行感知Loss、L1loss等约束 。FatGAN单帧图像处理流程如下:

“不仅是个真实的‘胖子’,还是个真实但美丽的‘胖子’”

为了让用户能体验视频中变胖的真实效果,FatGAN需要保证视频生成的稳定性,需要在生成过程中加入了光流预测模块进行时序上的约束。

但是直接利用光流速度很慢,因此团队构建了一个Unet+shuffle+Spade 的轻量级网络,利用下图2的大网络对轻量级网络进行蒸馏训练,这样可以做到移动端实时处理的效果。

这么好玩的应用当然不会只停留在实验室,也不会只停留在把明星变胖上,许多网友也在B站留言提出了更多的要求。

对此,爱奇艺PersonAI团队也告诉我们,“除了变胖特效外,我们小程序还支持多种人脸属性编辑,包括变老、长胡子、变男变女等,具体可以关注爱奇艺AI中心微信小程序。”

感兴趣的小伙伴可以试一下~

目前团队还在探索在AI中引入更多的设计和美学元素,比如希望不仅可以变成一个真实的“胖子”,还可以是一个真实且美丽的“胖子”。

团队还希望GAN技术与3D技术结合起来,可以自由实现任意人脸编辑效果,支持用户个性化定制玩法,比如用户根据自己的审美捏一个属于自己的“明星脸”。

最后,UP主也和我们一起畅想了一下AI技术在媒体方向的应用:

“也许将来,用户自己创作的AI人物也能参与到剧中。”

相关文章
|
9天前
|
存储 人工智能 Serverless
一键解锁 AI 动画视频创作,赢好礼
短视频行业的快速增长使得内容创作的速度和质量成为竞争关键。传统动画故事制作复杂且昂贵,限制了创作者对市场热点的快速反应和创新实现。本方案通过 AI 生成剧本和动画,简化创作流程并降低技术门槛,使创作者能高效生产高质量作品,迅速适应市场需求。
|
9天前
|
人工智能 安全 机器人
重磅发布的「AI视频通话」如何10分钟就实现?
2024年,OpenAI发布GPT-4o,支持文本、音频和图像的组合输入与输出,使交互更接近自然交流。传统语音助手需经历多阶段处理,容易出现延迟或误解,体验感差。本文介绍如何在阿里云上快速创建可视频通话的AI智能体,实现拟人化交互、精准感知、情绪捕捉等功能,提供高质量、低延时的音视频通话体验。通过简单的部署流程,用户可以轻松创建并体验这一先进的人机交互技术。点击“阅读原文”参与活动赢取惊喜礼物。
|
1天前
|
存储 人工智能 编解码
Pippo:Meta放出AI大招!单张照片秒转3D人像多视角视频,AI自动补全身体细节
Pippo 是 Meta 推出的图像到视频生成模型,能够从单张照片生成 1K 分辨率的多视角高清人像视频,支持全身、面部或头部的生成。
40 9
|
2天前
|
存储 人工智能 Serverless
阿里云《AI 剧本生成与动画创作》技术解决方案测评
本问是对《AI 剧本生成与动画创作》的用心体验。结论不是特别理想,在实际使用中仍存在一些问题。
50 22
|
4天前
|
人工智能 前端开发 Serverless
阿里云《AI 剧本生成与动画创作》解决方案技术评测
随着人工智能技术的发展,越来越多的工具和服务被应用于内容创作领域。阿里云推出的《AI 剧本生成与动画创作》解决方案,利用函数计算 FC 构建 Web 服务,结合百炼模型服务和 ComfyUI 工具,实现了从故事剧本撰写、插图设计、声音合成和字幕添加到视频合成的一站式自动化流程。本文将对该方案进行全面的技术评测,包括实现原理及架构介绍、部署文档指引、具体耗时分析以及实际使用体验。
51 16
|
14天前
|
机器学习/深度学习 人工智能 API
Aligner:自动修正AI的生成结果,北大推出残差修正模型对齐技术
介绍北大团队提出的 Aligner 模型对齐技术,通过学习对齐答案与未对齐答案之间的修正残差,提升大语言模型的性能。
74 28
|
4天前
|
人工智能 小程序 程序员
【视频测评 DEMO 参考】VSCode 神级 AI 插件通义灵码:完全免费+实战教程+微信贪吃蛇小程序
VSCode 神级 AI 插件通义灵码:完全免费+实战教程+微信贪吃蛇小程序
89 7
|
2天前
|
人工智能 编解码 vr&ar
Lumina-Video:上海 AI Lab 开源视频生成框架,动态程度可控,支持多分辨率
Lumina-Video 是由上海 AI Lab 和香港中文大学联合推出的高效视频生成框架,支持高质量视频生成、动态程度控制和多分辨率生成。
68 4
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
DeepSeek逆天,核心是 知识蒸馏(Knowledge Distillation, KD),一项 AI 领域的关键技术
尼恩架构团队推出《LLM大模型学习圣经》系列,涵盖从Python开发环境搭建到精通Transformer、LangChain、RAG架构等核心技术,帮助读者掌握大模型应用开发。该系列由资深架构师尼恩指导,曾助力多位学员获得一线互联网企业的高薪offer,如网易的年薪80W大模型架构师职位。配套视频将于2025年5月前发布,助你成为多栖超级架构师。此外,尼恩还提供了NIO、Docker、K8S等多个技术领域的学习圣经PDF,欢迎领取完整版资源。
|
6天前
|
人工智能 负载均衡 搜索推荐
谷歌发布双思维AI Agent:像人类一样思考,重大技术突破!
谷歌近日推出基于“快慢思维”理论的双思维AI Agent系统,模仿人类大脑的两种思维模式:快速直观的Talker(系统1)和深思熟虑的Reasoner(系统2)。Talker负责日常对话与快速响应,Reasoner则处理复杂推理任务。该系统模块化设计,灵活高效,已在睡眠教练等场景中展现应用潜力,但仍面临工作负载平衡与推理准确性等挑战。论文详情见:https://arxiv.org/abs/2410.08328v1
31 1

热门文章

最新文章