亚马逊名人鉴别系统21分钟即遭破解:GeekPwn对抗样本挑战赛冠军出炉-阿里云开发者社区

开发者社区> 开发者小助手-bz8> 正文

亚马逊名人鉴别系统21分钟即遭破解:GeekPwn对抗样本挑战赛冠军出炉

简介: 10 月 24 日,2018 GeekPwn 国际安全极客大赛在上海展开角逐,在众多极具创意的网络安全破解展示之中,由 FAIR 研究工程师吴育昕、约翰霍普金斯大学在读博士谢慈航组成的团队获得了最为令人瞩目的「CAAD( 对抗样本挑战赛)CTF」的冠军。
+关注继续查看

微信图片_20211130115840.jpg


GeekPwn 旨在通过集结全球最强黑客,通过预演智能设备及人工智能应用的破解,助力人们解决互联网领域中的各类安全问题。今年的大赛已是第五届。


本次大赛联合 GAN 之父 Ian Goodfellow,谷歌大脑科学家 Alexey Kurakin、加州伯克利教授宋晓冬等人共同发起、推出了 CAAD 对抗样本攻防赛(Competition on Adversarial Attacks and Defenses),致力于推动人工智能机器学习领域对抗攻击防御的技术发展。

据悉,该比赛于今年 5 月线上赛正式开赛。大赛聚焦让机器学习分类器频频犯错的对抗样本问题,通过机器学习图像识别领域的安全攻防对抗研究,预演 AI 领域可能存在的风险。「对抗样本攻防赛」针对图像识别领域的对抗攻击与防御研究分别设置了三个项目。


21 分钟破解亚马逊 Celebrity Recognition


线上的比赛在 9 月已经结束,赛会从全球的 100 余支队伍中选出了最强的 6 支队伍参加了24号的决赛。而在激烈的现场比赛之后,由吴育昕与谢慈航组成的「IYSWIM」战队同时取得了上下两个半场比赛的胜利,获得了最终的冠军。


在决赛上半场中,赛会要求所有选手进行非定向图片(将飞行器识别为任何其他物体)、定向图片(将武器识别为特定的其他物品)以及亚马逊名人鉴别系统(将大赛主持人蒋昌建的照片识别为施瓦辛格)共计三种图像的对抗样本攻击。由于在比赛前选手并不知晓题目模型所采用的算法,所以此类攻击也被称为「黑盒攻击」,其中第三个挑战在赛前更是被评委视为「无法完成的任务」。


令人惊讶的是,IYSWIM 战队在限时 30 分钟的比赛中,首先于 21 分钟破解了亚马逊名人鉴别系统 Celebrity Recognition,并随后在定向图片的对抗样本攻击上破解成功,取得了领先。


微信图片_20211130115845.jpg

吴育昕在 CAAD CTF比赛中


在下半场的比赛中,参赛的六队选手们各自设置了预先准备好的对抗样本防御体系,并互相展开攻击,攻击成功的次数越多,则得到的分数越高。IYSWIM 战队在比赛中后来居上,取得了下半场的胜利。


在比赛结束后,吴育昕作为获胜团队的代表向我们进行了介绍。与多数人工智能数据竞赛不同,本次竞赛需要参赛者利用预先训练好的机器学习模型,在 30 分钟内提交结果,试图攻破赛会设置的几个图像识别系统,每张图片上可以修改的像素数量被限制在 32 以内。


IYSWIM 是决赛中唯一一个攻破亚马逊人脸识别技术的团队,吴育昕表示这是一个非常困难的挑战:「在学术界我也没有搜索到以往存在人脸识别上的对抗样本研究。对此,我们仿照图片分类上的一些方法进行了尝试——在这之前,我也没想到我们使用的方法是有效的。」


在模型设计上,获胜战队使用了多种模型整合的方法,其中包括一些团队成员自行设计的模型,这样的配置取得了良好的效果。


输出这样的对抗样本需要什么样的硬件配置?吴育昕表示不同的方法对于算力的需求不尽相同。依照本次比赛的时限要求,他们选择了能使用一台笔记本电脑几分钟内输出结果的模型。而在训练这些模型的时候,则需要 8 块高性能 GPU 运行一天以上时间。


冠军团队


在 CAAD CTF 比赛中夺冠的团队 IYSWIM 由两人组成,其中来到决赛现场的吴育昕来自 Facebook 人工智能研究部门 FAIR,他主要进行计算机视觉方面的研究。值得一提的是他的论文《Group Normalization》在今年 9 月份刚刚获得了 ECCV 2018 最佳论文荣誉提名奖(参见:ECCV 2018 奖项公布:德国团队获最佳论文,吴育昕、何恺明上榜)。


另一名选手谢慈航则是约翰霍普金斯大学的三年级在读博士,他同样也是计算机视觉方面的学者,曾有多篇论文被 CVPR、ICLR 等人工智能顶会接收。此前,谢慈航在对抗样本方向上有过一些研究。


微信图片_20211130115849.jpg

谢慈航


对抗样本:人工智能的弱点


在神经网络中,导致网络输出结果不正确的输入内容被称为对抗样本。我们可以通过一个例子来进行说明。如下图所示:在某些图像分类网络中,这张图被认为是熊猫的置信度是 57.7%(左图),且其被分类为熊猫类别的置信度是所有类别中最高的,因此神经网络得出一个结论:图像中有一只熊猫。但是,通过添加少量精心构造的噪点,我们可以得到一个这样的图像(右图):对于人类而言,它和左图几乎一模一样,但神经网络却认为,其被分类为「长臂猿」的置信度高达 99.3%。


微信图片_20211130115852.jpg

图片来源: Explaining and Harnessing Adversarial Examples,Goodfellow et al


为了解决神经网络对抗样本的问题(Szegedy et al., 2013),近期人们对于构建防御对抗样本,增加神经网络鲁棒性的研究越来越多。尽管人们对于对抗样本的认识已经提升,相关的防御方法也有提出,但迄今为止并没有一种完美的解决方法出现。


「对抗样本的研究和其他的研究不太一样,没有特定的方向,」吴育昕表示,「在对抗样本上,人们提出的攻击手段正在不断提高,防御手段也在不断提高。这是一个交替上升的过程。我也只是在最近几个月才开始接触这一方向。我认为目前人们还无法找到完美的攻击或防御方式,大家还在不断地互相提高。」


面对挑战,GAN 提出者 Ian Goodfellow 曾联合 Alexey Kurakin、Samy Bengio 共同在 2017 年的 NIPS 大会上举办了对抗样本攻防竞赛,以推动人们在对抗样本方面的研究。近年来人们对于这一方面的研究也越来越多。


微信图片_20211130115855.jpg


「我们可以看到,目前的人工智能在图像识别上还有很多问题。」吴育昕表示。在未来,随着人工智能技术的发展,AI 必将负责控制越来越多重要任务,这意味着类似于对抗样本的机器学习安全漏洞可能带来巨大的危害。GeekPwn 极客大赛为我们带来了提前发现、解决问题的机会。微信图片_20211130092842.png


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
26739 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9485 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
11191 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13168 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9049 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6886 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4008 0
1653
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载