VR电影首次实现风格迁移，这要归功于AI

制作一部VR沉浸式电影时，AI能发挥怎样的作用？

Facebook做出了一些尝试，把基于对抗生成网络(GAN)、风格迁移等方法的图像生成和处理技术用到了电影后期中。

而且是部VR电影。

Facebook巴黎AI研究院最近和电影制作公司OKIO工作室、Saint George VFX工作室，以及导演Jérôme Blanquet合作，完成了一部新VR影片：《Alteration》。

AI研究员们和电影制作团队合作，首先要解决一个最基本的问题：清晰地给电影制作团队展示AI都能做什么。这样，电影制作团队才能决定如何在影片中使用AI、用在哪里。

他们尝试了基于GAN的自动编码器和风格迁移两种特效方法，然后选定了风格迁移。

Facebook研究团队在昨天发布的博客文章中说，GAN自动编码器了虽然在科研环境中表现良好，但是生成的特效没有达到电影制作团队的预期。

如果你对“风格迁移”这个词感到陌生，看了下面这张图，一定就明白了：

风格迁移这两年来非常火热，研究界不停生产着让风格迁移更真实、更具创造性的论文和代码，各种用风格迁移来处理图片和视频的App中也层出不穷。

把风格迁移用到VR电影中，面临着两大挑战：

一是从技术上看，VR电影是高分辨率的360度立体图像，这样的图像为风格迁移带来了存储和处理时间的限制，而且风格迁移在3D图像上效果如何，也是个未知数；

二是技术团队优化算法的依据不再是某种可量化的指标，而是导演的审美情趣。

Facebook巴黎AI研究院的技术团队从三个方面解决来应对这种挑战。

首先，他们选择了17种由Julien Drevelle作品衍生出来的目标风格，要训练一个神经网络，用来对电影中的帧进行修改。

最初，他们训练迁移神经网络所用的图像，分辨率只有128×128像素，但是当把这个神经网络应用到VR影片上，发现所处理的图像尺寸非常大。因此，Facebook团队后来用768×768的图像重新训练了这个神经网络。

训练完成后，他们通过将每个目标样式应用于单个帧来生成高分辨率测试图像，然后调整样式效果的强度以创建25个不同的高分辨率输出帧。这个过程对于导演选择何种风格非常有效，同时FAIR也能从视频专业角度来确定一个良好的风格迁移。

以下是一些示例，可以看到风格迁移带来的效果。

最后，必须将模型应用于某一场景的视频帧。在每个GPU上，这些模型大约需要100GB容量的显存，所以他们改用CPU。总共使用了550个CPU时来编码完成所有的帧。当然，还得确保双眼看到的立体效果是一致的。

在这部电影中，首次实现了对VR的风格迁移，这表明AI现在已经足够成熟，可以用来作为电影人的创作工具。

影片昨天已经在Oculus的商店上架，Oculus Rift和三星GearVR都可以看：

https://www.oculus.com/experiences/rift/1514447601900695/

如果没有VR设备，上面链接中还有正常版片花可看。

【完】