牛津大学最新研究:给我一张照片,就能让你开口讲话

简介:
本文来自AI新媒体量子位(QbitAI)


这句话你说过没有?不承认?我给你看证据!

于是你就看到一段视频,画面中的你开口说了一段你不曾讲过的话,口型自然、动作流畅。这是怎么回事?

来自牛津大学工程科学系视觉几何组的三位工程师,最近提出了一种生成聊天面部视频的方法。这个方法需要两个输入信息:

  • 一张静止的面部图像
  • 一个语音片段

可以得到的输出,是口型与语音片段同步且匹配的视频。这个方法可以实时工作,并且在运行时,可以应用于未曾见过的面孔和未曾听过的音频,也就是说,不是训练数据的情况下也能工作。

干说不如来段视频,一下就全明白了:


为了实现上述效果,牛津大学的团队提出了一种编码-解码CNN模型,使用面部和音频的联合嵌入,来生成合成的面部聊天视频帧。这个模型经过数十小时未标记视频的训练。

相关Paper在此:

https://arxiv.org/pdf/1705.02966.pdf

【完】

本文作者:若朴
原文发布时间:2017-05-16
相关文章
|
12天前
|
NoSQL Java 关系型数据库
吐血整理:2026大厂后端技术岗笔面试高频100题
本文揭秘2026大厂后端面试新趋势:题库未变,但考法剧变——从死记硬背转向考察源码理解、线上排障与设计权衡三大能力。通过真实案例对比与可落地的准备方法,帮你告别无效刷题,直击面试官真实意图。
|
7月前
|
人工智能 小程序 vr&ar
AR体感游戏,拓宽AI运动小程序的应用边界
AR体感游戏融合AI与AR技术,通过摄像头捕捉动作,将运动变为趣味互动。无需穿戴设备,手机即可畅玩,适合全年龄段,尤其激发低龄儿童运动兴趣。沉浸式体验让锻炼如游戏般上瘾,广泛应用于赛事、团建、校园及康复场景,借助AI运动识别插件,开发更高效便捷。
|
11月前
你为什么卸载了WPS?WPS 如何卸载干净?卸载不了WPS?看这里
本文介绍了如何彻底卸载电脑软件,包括WPS、Office 2016及Steam游戏等,分析了软件卸载不干净的原因,并推荐使用第三方工具如Geek进行深度清理,帮助用户解决残留文件、注册表项和服务项问题,确保系统运行更流畅。
2066 1
|
数据可视化 算法 物联网
室内电子地图开发流程解析:从技术选型到避坑实战
本文旨在解析室内电子地图制作的核心技术,解决如何在复杂室内环境中高效、精准地完成空间数据建模与多源数据融合,从而提升导航效率、优化用户体验的问题。如需室内电子地图解决方案欢迎私信获取,如有项目合作及技术交流欢迎私信作者。
503 2
|
移动开发 前端开发 语音技术
WordPress轻拟物博客主题niRvana 4.5.3(自适应手机端)
WordPress轻拟物主题niRvana,设计上不再趋从于现有的扁平风,我认为是时候从极致的扁平稍微向拟物致敬了,因此采用了轻拟物的风格。niRvana 设计和样式更加新颖,一眼看上去就会被他吸引住,主题配色也非常舒服。而且它有两个功能特别有意思,一个是自动根据文章特色图片识别出图片的主色调,在首页、文章分类页用最美的方式显示滚动图片,另一个则是文章支持语音朗读。主题细腻有质感,手机端体验非常好。
396 2
|
消息中间件 NoSQL Kafka
从 Redis 开源协议变更看开源软件与云计算巨头之间的竞争博弈
Redis将从BSD许可证转向RSALv2和SSPLv1的双重许可,以应对云时代挑战,保护开源精神,防止云厂商垄断。这一变化旨在确保开源软件的公平竞争,类似过去IE浏览器与操作系统绑定的情况。Redis的CEO指出,旧开源概念已不合时宜,云厂商应为使用开源项目做出贡献。AutoMQ作为云原生Kafka,采用BSL协议,旨在平衡开源与商业竞争,坚持可持续发展和开源初心。
417 2
从 Redis 开源协议变更看开源软件与云计算巨头之间的竞争博弈
|
机器学习/深度学习 算法 计算机视觉
【博士每天一篇文献-算法】Learning without forgetting
本文提出了一种名为"无忘记学习"(Learning without Forgetting, LWF)的算法,它允许在不牺牲原有任务性能的情况下,通过仅使用新任务的数据来训练卷积神经网络以学习新的视觉能力。
394 0
【博士每天一篇文献-算法】Learning without forgetting
|
人工智能 数据安全/隐私保护
图灵测试
图灵测试 “【5月更文挑战第20天】”
3142 1
|
网络协议 网络安全 数据库
【专栏】网络端口的奥秘,包括基本概念、技术原理和实际应用
【4月更文挑战第28天】本文深入探讨了网络端口的奥秘,包括基本概念、技术原理和实际应用。网络端口是区分网络服务的抽象概念,与TCP/IP协议密切相关。端口号范围从0到65535,知名端口常分配给标准服务,如HTTP和FTP。TCP提供可靠的数据传输,而UDP则更高效。端口还涉及端口扫描、转发和映射等高级技术。在实际应用中,端口广泛用于Web服务器、数据库通信及网络安全。随着云计算和虚拟化的兴起,端口管理变得更为复杂,对IT专业人员的技能要求提高。理解并掌握网络端口对于提升个人技能和保障网络安全至关重要。
1137 1
|
Prometheus 监控 Kubernetes
免费的集群管理软件有哪些?5款主流推荐
集群管理是对多台服务器或计算节点进行协调、调度和维护的过程,核心在于资源分配、负载均衡、监控和故障恢复。常见的集群管理软件包括板栗看板、Kubernetes Dashboard、Zabbix、Prometheus + Grafana 和 Nagios Core。这些软件各有特色,适用于不同的需求场景,如项目管理、容器编排、实时监控等。选择合适的集群管理工具,可以提升团队效率,降低运营成本,确保系统稳定运行。
4251 4