秒变莫扎特、贝多芬,Facebook提出完美转换音乐风格的神经网络-阿里云开发者社区

开发者社区> 新智元> 正文

秒变莫扎特、贝多芬,Facebook提出完美转换音乐风格的神经网络

简介:

Facebook人工智能实验室(FAIR)的研究人员近日发布了一个能够将音乐从一种风格、流派或乐器转换成另一种的神经网络。很快,你可以不用自己吹圆号,你可以直接吹口哨给AI,它会把你的口哨歌变成你理想中的交响乐或舞曲。

AI需要一个输入,比如将一首交响乐团演奏的巴赫作为输入 ,然后将其转换为其他风格,例如,贝多芬风格的钢琴演奏的同一首曲子。

下面的音频展示了多个不同音乐流派的转换,不看字幕,你能听出来哪些是原版音乐,哪些是AI生成的吗?

91f259822e9ba074551bf46ead7c8beaa012ac1a

FAIR是第一个利用神经网络,用无监督学习的方法重建高保真音乐的AI研究团队。

研究团队在论文中写道:

据我们所知,我们的结果的表现是前所未闻的。当被要求将一种乐器转换成另一种乐器时,我们的网络的表现与专业的音乐家不相上下或略逊一筹。很多时候,人们很难分辨哪个是原始音频文件,那个是AI模拟另一种的乐器的输出。

这样令人难以置信的逼真度是通过教一个神经网络如何自动编码音频实现的。就AI而言,它只是将一堆噪音变成听起来不同的另一堆噪音——但不要称之为风格迁移。

ae74baba3a8d19b3d66ff23a2b35e39598c38cbb

图1:网络架构

研究团队说:“我们将这个工作与风格迁移区分开来,并且不尝试使用风格迁移的方法,因为我们认为,钢琴演奏的旋律与合唱团所唱的旋律不同,除了音质上的不同之外。这个映射必须在更高层级进行,并且修改也不是简单的局部修改。”

9a4102fd5bf8b107ea66d0776796e491caea534c

AI转换音乐风格的结果质量评估

FAIR使用的方法是一种复杂的自动编码方法,它能让网络处理来自训练中从未处理过的输入音频。 它不是尝试匹配音高,或记忆音色,而是一种无监督的学习方法,使用高级语义解释。

可以说这是过去几年里关于“人工智能能做到多好”的另一个例子。其他音乐AI的例子更像是制造噪音,它们制造的大多更像是抽象的声音,可以被合理地解释为音乐,但离真正的音乐仍然很远。我们认为,这是第一个可能被误认为是真人演奏的音乐AI。


原文发布时间为:2018-05-24

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:秒变莫扎特、贝多芬,Facebook提出完美转换音乐风格的神经网络

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

官方博客
官网链接