AI把爱豆变胖视频火遍B站,我们找到了背后的技术团队:你是怎么把刘亦菲变胖的?-阿里云开发者社区

开发者社区> -技术小助手-> 正文

AI把爱豆变胖视频火遍B站,我们找到了背后的技术团队:你是怎么把刘亦菲变胖的?

简介: AI把爱豆变胖视频火遍B站,我们找到了背后的技术团队:你是怎么把刘亦菲变胖的?
+关注继续查看

刘亦菲有多漂亮就不用我多介绍了。

单是她那“优越的颅顶”,就已经足够上一次热搜了。

有个网友在刘亦菲脑壳上画了个圈圈,简直是照着篮球长得嘛,还有网友表示,“竟然觉得她光头也一定好看”。

不过网友们没能等来刘亦菲剃光头,却等来了刘亦菲变胖!

近期,一位名叫“AIworks”的B站UP主发布了一个AI模拟女明星变胖后的视频,视频中“四小花旦”变胖的逼真效果引发网友热议,被网友称为“大型减肥教育片”。

这个视频发布后在b站引发了一波“爱豆”变胖热潮,我们也第一时间与视频UP主取得了联系,详细问了问他是怎么把刘亦菲变胖的。

从刘亦菲到“刘大姐”,中间只差了个AI!

揭秘之前,咱们先一起来看看效果,看着这法令纹,这双下巴,这赘肉,要不是知道她们原来的样子,很难分清这是AI的作用。

那这背后是什么技术呢?

经常关注文摘的同学应该对这样的技术不陌生了,像之前报道的styleGAN人脸风格变换,都是对GAN(对抗生成网络)的应用,但是从效果来看,这个作品在细节方面有了很大的进步,尤其是在动态视频中的表现效果,已经达到了以假乱真的地步。

对此UP主在接受采访时也告诉我们,这个作品是他利用爱奇艺的一款小程序完成的,可以支持多种人脸编辑,包括变老、长胡子、变男变女等。

跟爱奇艺相关技术团队PersonAI沟通后我们得知,这款神奇的小程序主要也是用到了GAN的技术,变胖这个效果主要是PersonAI自研的GAN生成技术,借鉴了开源的StarGan的域迁移生成方案,同时加上了传统warp变胖的图到图约束loss、身份约束loss、真实度感知loss等多种训练loss,还取了个非常直白的名字——FatGAN。

之所以能够取得比styleGAN更好的效果,PersonAI团队也费了一番功夫:“(我们的方法)与styleGAN不同,styleGAN生成的特征不连续,在人脸角度比较大的时候生成的效果不稳定,真实的图像编辑效果差,这些都导致无法在真实视频中得到较好的效果。”

至于为什么能够产生法令纹、双下巴这些细节,PersonAI团队负责人首先称赞了网友们的“火眼金睛”,“网友们的眼睛还是很尖的,”

“在刚开始做的时候,发现收集的微胖人群数据集里面,微胖人群的法令纹也确实会比瘦子的深一些多一点,因此在域迁移GAN生成网络里面特意加了纹理约束来表征法令纹等一些微胖人群特有的细节。”

算法来自爱奇艺,“胖出法令纹”网友直呼细节真实

采访中,PersonAI团队负责人也表示,FatGAN生成人脸的五官与身份保持得很好,归因于团队的千万级人脸识别模型的特征比较鲁棒,微胖数据也是利用该团队的人脸属性模型在爱奇艺海量的视频素材库里面收集的。

在“四小花旦”的视频在b站爆火后,up主又把目光投向了男明星们,第一个中招的就是易烊千玺。

胖起来就泯然众人的哥哥们,甚至让有的网友产生了这样的想法:

这也体现了FatGAN的逼真的效果——既照顾到了真实的微胖是什么样子,又能保持与原对象本身的相似度。

为了做到这两点,爱奇艺PersonAI团队克服了重重困难:“目前常见的模拟变胖变瘦的效果,基本上都是通过人脸图像warp的方式来实现的,这种方法没有法令纹等微胖人群的真实细节特征,而FatGAN通过添加属性、感知、边缘纹理等多种约束,使得生成的变胖效果更加真实。”

为了让生成的图像更像本人,FatGAN需要能较好地保持身份信息,为了做到这一点,利用了团队内部的千万级人脸识别模型,提取生成前后的人脸图像多尺度身份特征进行约束。同时,采用传统warp变胖的效果进行感知Loss、L1loss等约束 。FatGAN单帧图像处理流程如下:

“不仅是个真实的‘胖子’,还是个真实但美丽的‘胖子’”

为了让用户能体验视频中变胖的真实效果,FatGAN需要保证视频生成的稳定性,需要在生成过程中加入了光流预测模块进行时序上的约束。

但是直接利用光流速度很慢,因此团队构建了一个Unet+shuffle+Spade 的轻量级网络,利用下图2的大网络对轻量级网络进行蒸馏训练,这样可以做到移动端实时处理的效果。

这么好玩的应用当然不会只停留在实验室,也不会只停留在把明星变胖上,许多网友也在B站留言提出了更多的要求。

对此,爱奇艺PersonAI团队也告诉我们,“除了变胖特效外,我们小程序还支持多种人脸属性编辑,包括变老、长胡子、变男变女等,具体可以关注爱奇艺AI中心微信小程序。”

感兴趣的小伙伴可以试一下~

目前团队还在探索在AI中引入更多的设计和美学元素,比如希望不仅可以变成一个真实的“胖子”,还可以是一个真实且美丽的“胖子”。

团队还希望GAN技术与3D技术结合起来,可以自由实现任意人脸编辑效果,支持用户个性化定制玩法,比如用户根据自己的审美捏一个属于自己的“明星脸”。

最后,UP主也和我们一起畅想了一下AI技术在媒体方向的应用:

“也许将来,用户自己创作的AI人物也能参与到剧中。”

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
出色技术团队的关键要素
<div id="codeText" class="codeText" style="border-bottom:rgb(221,221,221) 1px solid; border-left:rgb(221,221,221) 1px solid; padding-bottom:0px; overflow-x:auto; overflow-y:auto; margin:0px 0px 1.
747 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
4068 0
来了!闲鱼技术团队开源 Flutter 应用框架 Fish Redux
目前,跨平台、高性能的渲染引擎逐渐成为大前端领域的一个热点。作为其中的明星, Flutter有很大的机会成为下一代主流的跨端解决方案。
11250 0
玩转娱乐化时代|淘系互动团队几年的技术沉淀+经验都在这!
在人口红利开始萎缩,各个 App 都开始以娱乐化互动作为重要手段来争夺普通民众的在线时长。因此在诸如互动业务领域内,我们就需要打造核心轻量化、研发速度快、用户体验好的互动技术。它是 Web 技术的一块特定领域,它融合了图形、渲染、动画以及前端工程和软件工程等知识。本文会把这些领域的知识有条理的梳理一遍呈现给大家。
757 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4486 0
AI把爱豆变胖视频火遍B站,我们找到了背后的技术团队:你是怎么把刘亦菲变胖的?
AI把爱豆变胖视频火遍B站,我们找到了背后的技术团队:你是怎么把刘亦菲变胖的?
16 0
我们总结了每个技术团队都会遇到的 4 个难题
阿里巴巴 2019 年实习生校园招聘已经启动,为此,我们整理了一篇《每个技术团队都会遇到的4个难题》,帮助即将从校园进入公司实习的后端程序员,以实践的视角,看看一个后端技术团队会遇到的一些难题。虽然,技术上的难题远不止于此,但如果能从这篇文章中获得一些职业体感,也许对你的实习面试会有所帮助。
3216 0
Python爬一下抖音上小姐姐的视频~
image.png 在简书也码了1W多字了,发现还是爬虫类的文章看的人多。 算法工程师现在都啥价位了,你们还在看爬虫→_→ 介绍 这次爬的是当下大火的APP--抖音,批量下载一个用户发布的所有视频。
2339 0
如何实现7*24小时灵活发布?阿里技术团队这么做
研发效能分为两块,一是用技术的更新来提升效率;二是提高整个技术生态中的协同效率,激发技术活力。
2001 0
1457
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载