反“换脸”魔高一丈:新方法识别假视频正确率达99%-阿里云开发者社区

开发者社区> 新智元> 正文

反“换脸”魔高一丈:新方法识别假视频正确率达99%

简介: 利用深度学习“换脸”合成假视频的技术发展之快令人惊叹,也令人深感不安。研究人员已经研究出一种新方法来检测这些被操纵的换脸视频,通过有效地预测眼睛的状态,准确率达到99%。

利用深度学习“换脸”合成假视频的技术发展之快令人惊叹,也令人深感不安。但是,道高一尺魔高一丈,研究人员已经研究出一种新方法来检测这些被操纵的换脸视频的“迹象”:这是普通人都会注意到的一个缺陷:缺少眨眼

纽约州立大学奥尔巴尼分校计算机科学系的研究人员最近发表了一篇题为“In Ictu Oculi:通过检测眨眼来揭露AI产生的换脸假视频”。论文详细介绍了他们如何组合两个神经网络,从而更有效地揭露哪些视频是AI合成的。这些视频往往忽略了“自发的、无意识的生理活动,例如呼吸、脉搏和眼球运动”。

研究人员指出,人类静止时的眨眼频率平均为每分钟17次;当一个人说话时,眨眼频率增加到每分钟26次,阅读时则减少到每分钟4.5次。研究人员补充说,这些区别值得注意,“因为视频上正在说话的发言者,被拍摄时可能实际上正在阅读。”因此,当视频中某个正在说话的人完全不眨眼,很容易就能看出这段录像是假的。

2d9bb0ec6929d0c2749a1a65b65e4b595f1465e8

深度学习技术产生的假视频(deepfake videos)中的主体不会眨眼,原因之一是:大多数提供给神经网络的训练数据集不包含闭眼的照片,因为人们在网上公开的照片通常都是睁眼的。这是必然的结果,因为创造deepfake视频需要手机大量的个人照片,而这个过程可以通过开源的照片抓取工具从网络上获取公开照片。

之前的论文已经指出,缺乏眨眼是检测deepfakes的一种方法,但奥尔巴尼大学的研究人员表示,他们的系统比之前提出的检测方法更准确。之前的研究使用眼睛长宽比(EAR)或卷积神经网络(CNN)分类器来检测眼睛是睁开着还是闭着。新的研究里,研究人员将基于CNN的方法与递归神经网络(RNN)结合起来,这种方法除了考虑单个视频帧之外,还考虑以前的眼睛的状态。

4d33195e1690ccbb74bfbc8265870fa7ab650600

LRCN方法的概览

与单纯的CNN模型不同,研究人员表示,他们的长期递归卷积网络( Long-term Recurrent Convolutional Network ,LRCN)方法可以“有效地预测眼睛状态,从而可以更加准确。”根据论文,这种方法的准确率为0.99,相比之下,CNN的准确率为0.98,而EAR的准确率为0.79。

7ea454c45f074be4794796cfdd88ff85cca7a4d9

LRCN和CNN、EAR方法的结果比较

至少,研究人员的发现表明,我们有办法揭露机器学习技术创造出来的非常逼真假视频。例如,一个叫做 Deep Video Portraits 的新系统能给视频中的人物“换脸”,甚至可以再现脸部的动作、面部表情、说话口型和实现方向。

ead0f023463e9b1f5068be307160c82e70f435ea

Deep Video Portraits

令人欣慰的是,研究人员正在寻找识别假视频的方法,特别是因为这项技术可能被滥用,以及可能促进假新闻的传播。但这些检测方法是否会超过deepfake技术的发展速度,还有待观察。

“在我个人看来,最重要的是,公众必须意识到现代技术在视频生成和编辑方面的有很大的能力,”斯坦福大学访问助理教授Michael Zollhofer在一篇博客文章中写道:“这将使他们更批判性地思考自己每天消费的视频内容,尤其是在视频内容没有来源证明的情况下。”


原文发布时间为:2018-06-21

本文作者:复制人写手

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:反“换脸”魔高一丈:新方法识别假视频正确率达99%

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

官方博客
官网链接