牛津大学最新研究:给我一张照片,就能让你开口讲话

简介:
本文来自AI新媒体量子位(QbitAI)

640?wx_fmt=png&wxfrom=5&wx_lazy=1


这句话你说过没有?不承认?我给你看证据!

于是你就看到一段视频,画面中的你开口说了一段你不曾讲过的话,口型自然、动作流畅。这是怎么回事?

来自牛津大学工程科学系视觉几何组的三位工程师,最近提出了一种生成聊天面部视频的方法。这个方法需要两个输入信息:

  • 一张静止的面部图像
  • 一个语音片段

可以得到的输出,是口型与语音片段同步且匹配的视频。这个方法可以实时工作,并且在运行时,可以应用于未曾见过的面孔和未曾听过的音频,也就是说,不是训练数据的情况下也能工作。

干说不如来段视频,一下就全明白了:


为了实现上述效果,牛津大学的团队提出了一种编码-解码CNN模型,使用面部和音频的联合嵌入,来生成合成的面部聊天视频帧。这个模型经过数十小时未标记视频的训练。

相关Paper在此:

https://arxiv.org/pdf/1705.02966.pdf

【完】

本文作者:若朴
原文发布时间:2017-05-16
相关文章
|
机器学习/深度学习 传感器 存储
为自动驾驶汽车创造「记忆」,上交校友、康奈尔大学博士生三篇论文被CVPR 2022收录
为自动驾驶汽车创造「记忆」,上交校友、康奈尔大学博士生三篇论文被CVPR 2022收录
184 0
|
机器学习/深度学习 人工智能 程序员
AI生成中国山水画!普林斯顿姑娘本科毕业作品,线条笔触骗过半数人类观察者
AI生成中国山水画!普林斯顿姑娘本科毕业作品,线条笔触骗过半数人类观察者
294 0
|
安全 ice
画一座冰山,看它沉浮!从简笔画到数据科学,Kaggle冰川图像分类比赛如何征服“轮船克星”?
画一座冰山,看它沉浮!从简笔画到数据科学,Kaggle冰川图像分类比赛如何征服“轮船克星”?
172 0
|
机器学习/深度学习 人工智能 监控
AI说长这样挣得多!Nature力证科学看相,3万张自拍揭露面相-性格关系,碾压算命先生
AI说长这样挣得多!Nature力证科学看相,3万张自拍揭露面相-性格关系,碾压算命先生
375 0
|
人工智能 机器人 测试技术
CMU科学家们带一群机器人开房,并收集了28,000种不同的姿势
来自卡耐基梅隆大学 (CMU) 的四个科学家,在一篇论文里说,他们带着一群机器人去住Airbnb了。
1450 0
|
人工智能 机器人
不造AI杀人武器当然好,但牛津学者觉得马斯克们忽略了重点
牛津大学的学者Mariarosaria Taddeo (简称玛利亚) 说,他们忽略了一个重点。而且,把万众目光集中在“AI杀手”上,人们就更难注意到那个重点了。
1202 0