牛津大学最新研究:给我一张照片,就能让你开口讲话

简介:
本文来自AI新媒体量子位(QbitAI)


这句话你说过没有?不承认?我给你看证据!

于是你就看到一段视频,画面中的你开口说了一段你不曾讲过的话,口型自然、动作流畅。这是怎么回事?

来自牛津大学工程科学系视觉几何组的三位工程师,最近提出了一种生成聊天面部视频的方法。这个方法需要两个输入信息:

  • 一张静止的面部图像
  • 一个语音片段

可以得到的输出,是口型与语音片段同步且匹配的视频。这个方法可以实时工作,并且在运行时,可以应用于未曾见过的面孔和未曾听过的音频,也就是说,不是训练数据的情况下也能工作。

干说不如来段视频,一下就全明白了:


为了实现上述效果,牛津大学的团队提出了一种编码-解码CNN模型,使用面部和音频的联合嵌入,来生成合成的面部聊天视频帧。这个模型经过数十小时未标记视频的训练。

相关Paper在此:

https://arxiv.org/pdf/1705.02966.pdf

【完】

本文作者:若朴
原文发布时间:2017-05-16
相关文章
|
8月前
|
人工智能 机器人 人机交互
哥大华人开发人脸机器人,照镜子自主模仿人类表情超逼真
【4月更文挑战第3天】哥伦比亚大学研究人员开发了一款名为Emo的机器人,能观察并模仿人类面部表情,实现更自然的人机交互。Emo配备26个面部执行器和高分辨率摄像头,通过“自我建模”学习模仿表情,并能预测人类表情变化。这一创新有望改善人机理解和响应情绪的能力,应用于教育、医疗等领域,但也引发了关于情感依赖和伦理问题的讨论。
135 4
哥大华人开发人脸机器人,照镜子自主模仿人类表情超逼真
|
5月前
|
算法
ECCV 2024:盲视频去闪烁通用方法BlazeBVD来了,美图&国科大联合提出
【8月更文挑战第15天】随着多媒体的兴起,视频成为信息传播的关键媒介,但视频中的闪烁问题影响观看体验。美图与中国科学院大学联合研发的BlazeBVD算法,采用直方图辅助方法简化学习过程,提高了视频去闪烁的质量与速度。该算法通过2D网络恢复纹理,3D网络修正时间一致性,实现了高效能与高保真度。实验结果显示,BlazeBVD在多种视频类型上表现优秀,推理速度提升显著。尽管如此,算法在处理局部闪烁和复杂场景时仍存在局限性,未来有进一步优化的空间。[论文链接](https://arxiv.org/pdf/2403.06243v1)
81 1
|
7月前
支持合成一分钟高清视频,华科等提出人类跳舞视频生成新框架UniAnimate
【6月更文挑战第14天】华科等机构推出 UniAnimate 框架,能生成逼真的人类跳舞视频,尤其适合动画、虚拟偶像和游戏领域。该框架采用视频扩散模型,减少优化难度,确保时间一致性,且支持生成长达一分钟的高清视频。虽然存在动作不自然和计算成本高的问题,但已在实验中展现出优于现有技术的表现。[链接](https://arxiv.org/abs/2406.01188)
121 4
|
机器学习/深度学习 数据可视化 数据挖掘
CVPR 2023|哈工大南洋理工提出全球首个「多模态DeepFake检测定位」模型:让AIGC伪造无处可藏
CVPR 2023|哈工大南洋理工提出全球首个「多模态DeepFake检测定位」模型:让AIGC伪造无处可藏
286 0
|
机器学习/深度学习 人工智能 编解码
照片也能时间旅行?「穿越时空的人脸」新模型化身AI时光机
照片也能时间旅行?「穿越时空的人脸」新模型化身AI时光机
327 0
|
机器学习/深度学习 人工智能 编解码
DeepFake换头术升级:浙大新模型,GAN出一头秀发
DeepFake换头术升级:浙大新模型,GAN出一头秀发
305 0
|
传感器 机器学习/深度学习 数据可视化
马斯克脑机接口下一步:让大猩猩用脑电波玩视频游戏,今年人体试验!
火星计划怎么样了?脑机接口进展又如何?语出惊人的马斯克又来了,近期采访中他又放下狠话:五年半内登火星,还透露说,Neuralink想要造出一只通灵的猴子能打电脑游戏。
370 0
马斯克脑机接口下一步:让大猩猩用脑电波玩视频游戏,今年人体试验!
|
机器学习/深度学习 传感器 人工智能
意念加AI算法「复原」每个手指,智能义肢登上Nature子刊封面
使用「意念」控制机械,让肢体缺失的残疾人过上正常人的生活,这听起来像是出现在电影中的场景。最近,瑞士洛桑联邦理工学院(EPFL)展示的新技术却让科幻变成了现实,他们的研究还登上了最新一期自然杂志子刊《Nature Machine Intelligence》的封面。
256 0
意念加AI算法「复原」每个手指,智能义肢登上Nature子刊封面
|
机器学习/深度学习 人工智能 Go
谷歌发布“怪兽生成器”!你画草图,GAN帮你生成幻想生物
谷歌发布“怪兽生成器”!你画草图,GAN帮你生成幻想生物
679 0
|
传感器 编解码 机器人
Nature:比人眼更强大,港科大开发高密度人工视网膜,科幻人造眼成现实
未来 10 年我们可能会亲眼见着仿生眼在我们生活中的大规模应用。