VR电影首次实现风格迁移,这要归功于AI-阿里云开发者社区

开发者社区> 行者武松> 正文

VR电影首次实现风格迁移,这要归功于AI

简介:
+关注继续查看
本文来自AI新媒体量子位(QbitAI)

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

制作一部VR沉浸式电影时,AI能发挥怎样的作用?

Facebook做出了一些尝试,把基于对抗生成网络(GAN)、风格迁移等方法的图像生成和处理技术用到了电影后期中。

而且是部VR电影。

Facebook巴黎AI研究院最近和电影制作公司OKIO工作室、Saint George VFX工作室,以及导演Jérôme Blanquet合作,完成了一部新VR影片:《Alteration》。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

AI研究员们和电影制作团队合作,首先要解决一个最基本的问题:清晰地给电影制作团队展示AI都能做什么。这样,电影制作团队才能决定如何在影片中使用AI、用在哪里。

他们尝试了基于GAN的自动编码器和风格迁移两种特效方法,然后选定了风格迁移。

Facebook研究团队在昨天发布的博客文章中说,GAN自动编码器了虽然在科研环境中表现良好,但是生成的特效没有达到电影制作团队的预期。

如果你对“风格迁移”这个词感到陌生,看了下面这张图,一定就明白了:

640?wx_fmt=png&wxfrom=5&wx_lazy=1

风格迁移这两年来非常火热,研究界不停生产着让风格迁移更真实、更具创造性的论文和代码,各种用风格迁移来处理图片和视频的App中也层出不穷。

把风格迁移用到VR电影中,面临着两大挑战:

一是从技术上看,VR电影是高分辨率的360度立体图像,这样的图像为风格迁移带来了存储和处理时间的限制,而且风格迁移在3D图像上效果如何,也是个未知数;

二是技术团队优化算法的依据不再是某种可量化的指标,而是导演的审美情趣。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

Facebook巴黎AI研究院的技术团队从三个方面解决来应对这种挑战。

首先,他们选择了17种由Julien Drevelle作品衍生出来的目标风格,要训练一个神经网络,用来对电影中的帧进行修改。

最初,他们训练迁移神经网络所用的图像,分辨率只有128×128像素,但是当把这个神经网络应用到VR影片上,发现所处理的图像尺寸非常大。因此,Facebook团队后来用768×768的图像重新训练了这个神经网络。

训练完成后,他们通过将每个目标样式应用于单个帧来生成高分辨率测试图像,然后调整样式效果的强度以创建25个不同的高分辨率输出帧。这个过程对于导演选择何种风格非常有效,同时FAIR也能从视频专业角度来确定一个良好的风格迁移。

以下是一些示例,可以看到风格迁移带来的效果。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

0?wx_fmt=gif&wxfrom=5&wx_lazy=1

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

0?wx_fmt=gif&wxfrom=5&wx_lazy=1

最后,必须将模型应用于某一场景的视频帧。在每个GPU上,这些模型大约需要100GB容量的显存,所以他们改用CPU。总共使用了550个CPU时来编码完成所有的帧。当然,还得确保双眼看到的立体效果是一致的。

在这部电影中,首次实现了对VR的风格迁移,这表明AI现在已经足够成熟,可以用来作为电影人的创作工具。

影片昨天已经在Oculus的商店上架,Oculus Rift和三星GearVR都可以看:

https://www.oculus.com/experiences/rift/1514447601900695/

如果没有VR设备,上面链接中还有正常版片花可看。

【完】

本文作者:李林 
原文发布时间:2017-07-27

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
22601 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
6992 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4512 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7812 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9439 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
3878 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
3269 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
1134 0
+关注
行者武松
杀人者,打虎武松也。
14545
文章
2569
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载