自带迷幻剂技能的小贴纸:忽悠神经网络,让它将一切都当作烤面包机!

简介:

当下的图像识别技术看似愈发成熟了,但自带蠢萌属性的它实际上依然可以被轻易愚弄。

研究人员最近就成功忽悠了一把以智能著称的算法,让它们一脸懵逼地犯下了一系列错误:

比如把两个滑雪的人辨识为一只狗,把一个棒球看成是一杯意式咖啡,又例如把一只乌龟误认为是一把步枪。

最新的一个欺骗机器的方法操作更为简单,却有更深远的影响,所需要的道具也仅仅是一张简陋的贴纸而已。

623be7efd385bde7f0cc6af4a50d8303f5d4beef

图注按顺序为:将贴纸放在桌上,输入分类器的图像,分类器输出结果

这款由谷歌的研究人员新近开发的自带迷幻剂属性的小贴纸可是相当厉害了。只要将它放在任何一张图片上,深度学习系统就会傻乎乎地把毫无关联的图像分辨为一部烤面包机。

据一篇最近提交的和这个神经网络攻击有关的研究论文所述,这块小小的“狗皮膏药”(对抗性补丁)是具有“场景无关性”的,这意味着任何一个“对光照条件、相机角度、被攻击的分类器类型或甚至场景中的其他事物没有事先了解”的人都可以利用这张贴纸,去实行对图像识别算法的攻击。

相关研究论文的arxiv链接:https://arxiv.org/abs/1712.09665

再加上贴纸本身可以在网络上被分享和打印出来,这个攻击方法简直是唾手可得。

一个由谷歌深度学习研究团队Google Brain的成员Tom Brown上传的油管视频,就展示了这块对抗性补丁是怎样作用于一张香蕉的图片上的。

点击查看相关视频

90dca1818a192edf42820b6b29110816cc059dcf

起先,一只香蕉放在桌上的图片是能够被VGG16这个神经网络正确识别为“香蕉”的,但把迷幻小贴纸放置于香蕉旁边后,神经网络随即把图片分类成了“烤面包机”。

正如研究人员在论文中所述,这个小把戏背后的原理,是深度学习模型其实每次只能探测到图像中最“显眼”的那个物品。

“对抗性补丁正是利用了这一特性,通过生成远远比真实物体显眼得多的图像输入(从而欺骗了模型)。”同时,研究人员在论文中写道,“因此,在攻击物体探测或是图像细分模型的时候,我们希望被定为识别目标的烤面包机贴纸一方面能被分辨为‘烤面包机’,另一方面也不会对图像本身的其他部分造成影响。”

即使现在研究人员已经有了许多种让机器学习算法产生视觉错误的方法,这个办法却因其简易操作且难以察觉的特点而显得尤为重要。

“即使人类能够注意到这些贴纸的存在,他们未必理解这些贴纸的真正意图,反而误认为这是某种艺术的表现形式。”研究人员如是说。

目前而言,让机器把一根香蕉看成是一部烤面包机的小恶作剧并不会对社会造成什么实际的危害。但随着我们这个世界的运行开始越来越依赖图像识别技术,这种操作简单的方法在将来很有可能会造成严重的破坏。

最重要的是随着无人驾驶技术的普及,这些智能汽车非常依赖于图像识别软件来理解它们周边的环境并与之互动。试想成千上万坨大型重磅的金属块在高速公路上飞驰时只看得见烤面包机,这将是一件多么危险的事情。


原文发布时间为:2018-01-26

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关实践学习
基于函数计算实现AI推理
本场景基于函数计算建立一个TensorFlow Serverless AI推理平台。
相关文章
|
18天前
|
安全 网络协议 测试技术
【网络安全】网络安全基础必备技能
【网络安全】网络安全基础必备技能
|
2天前
|
安全 JavaScript 前端开发
第十六届山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题—B模块安全事件响应/网络安全数据取证/应用安全
该内容描述了一次网络安全演练,包括七个部分:Linux渗透提权、内存取证、页面信息发现、数字取证调查、网络安全应急响应、Python代码分析和逆向分析。参与者需在模拟环境中收集Flag值,涉及任务如获取服务器信息、提权、解析内存片段、分析网络数据包、处理代码漏洞、解码逆向操作等。每个部分都列出了若干具体任务,要求提取或生成特定信息作为Flag提交。
5 0
|
2天前
|
安全 测试技术 网络安全
2024年山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题-C安全事件响应/网络安全数据取证/应用安全
B模块涵盖安全事件响应和应用安全,包括Windows渗透测试、页面信息发现、Linux系统提权及网络安全应急响应。在Windows渗透测试中,涉及系统服务扫描、DNS信息提取、管理员密码、.docx文件名及内容、图片中单词等Flag值。页面信息发现任务包括服务器端口、主页Flag、脚本信息、登录成功信息等。Linux系统渗透需收集SSH端口号、主机名、内核版本,并实现提权获取root目录内容和密码。网络安全应急响应涉及删除后门用户、找出ssh后门时间、恢复环境变量文件、识别修改的bin文件格式及定位挖矿病毒钱包地址。
9 0
|
2天前
|
安全 Linux 网络安全
2024年山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题-B
网络安全模块A,涉及Windows和Linux服务器的安全加固。任务包括:设置强密码和登录策略,如账户锁定和最小密码长度;禁止未加密密码传输和来宾账户访问;关闭系统时清除内存页面文件,禁止无登录关机,限制驱动器访问;确保流量完整性,如SSL访问和SSH证书登录;事件监控,如应用日志存档;服务加固,如SSH禁止root远程登录,VSFTPD超时设置,IIS防止文件枚举和关闭WebDAV;以及防火墙策略,如限制DNS转发,禁止ping,禁用端口和MAC地址,限制IP碎片和SSH连接。所有更改需截图并按指定格式保存提交。
4 0
|
2天前
|
安全 Linux 网络安全
2024年山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题-A-CTF攻击与防御
模块C和D是CTF夺旗比赛,分别聚焦攻击和防御。攻击者需利用各种漏洞(如命令注入、文件上传、远程代码执行等)攻陷靶机,获取权限,但禁止攻击裁判服务器。防御者则需检测并加固堡垒服务器,确保服务可用性,发现并修补同样类型的漏洞。比赛分数依据靶机的flag值和加固报告,强调不提供补时。操作环境涉及Windows和Linux,选手需使用谷歌浏览器登录。注意提交清晰的截图和PDF报告至U盘。
6 0
|
2天前
|
安全 测试技术 Linux
2024年山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题-A模块安全事件响应/网络安全数据取证/应用安全
该内容描述了一个网络安全挑战,涉及Windows和Linux系统的渗透测试以及隐藏信息探索和内存取证。挑战包括使用Kali Linux对Windows Server进行服务扫描、DNS信息提取、密码获取、文件名和内容查找等。对于Linux系统,任务包括收集服务器信息、提权并查找特定文件内容和密码。此外,还有对Server2007网站的多步骤渗透,寻找登录界面和页面中的隐藏FLAG。最后,需要通过FTP获取win20230306服务器的内存片段,从中提取密码、地址、主机名、挖矿程序信息和浏览器搜索关键词。
4 0
|
2天前
|
安全 测试技术 网络安全
2024年甘肃省职业院校技能大赛中职组 “网络安全”赛项竞赛样题-C模块安全事件响应/网络安全数据取证/应用安全
涉及安全事件响应和应用安全测试。需使用Kali对Windows Server2105进行渗透测试,包括服务扫描、DNS信息提取、管理员密码、文件名与内容、图片中单词等。另外,需收集win20230305的服务器端口、页面信息、脚本、登录后信息等。在Linux Server2214上,要获取SSH端口、主机名、内核版本并进行提权操作。网络安全响应针对Server2228,涉及删除后门用户、查找SSH后门时间、恢复环境变量、识别篡改文件格式和矿池钱包地址。最后,对lin20230509进行网站渗透,获取端口号、数据库服务版本、脚本创建时间、页面路径、内核版本和root目录下的flag文件内容
5 0
|
2天前
|
SQL 安全 测试技术
2021年职业院校技能大赛“网络安全”项目 江西省比赛任务书—B模块
B模块涵盖安全事件响应和网络数据取证,涉及多项应用安全挑战。任务包括使用nmap扫描靶机、弱口令登录、生成反弹木马、权限验证、系统内核版本检查、漏洞源码利用、文件名和内容提取等。此外,还有Linux渗透测试,要求访问特定目录下的文件并提取内容。应用服务漏洞扫描涉及服务版本探测、敏感文件发现、私钥解密、权限提升等。SQL注入测试需利用Nmap扫描端口,进行SQL注入并获取敏感信息。应急响应任务包括处理木马、删除恶意用户、修复启动项和清除服务器上的木马。流量分析涉及Wireshark数据包分析,查找黑客IP、枚举测试、服务破解等。渗透测试任务涵盖系统服务扫描、数据库管理、漏洞利用模块搜索等。
10 0
|
2月前
|
机器学习/深度学习 人工智能 API
人工智能应用工程师技能提升系列2、——TensorFlow2——keras高级API训练神经网络模型
人工智能应用工程师技能提升系列2、——TensorFlow2——keras高级API训练神经网络模型
33 0
|
3月前
|
网络协议 安全 网络安全
第三届陕西省大学生网络安全技能大赛部分WriteUp
发现ctr1 += chr(ord(flag[i]) ^ 5)是个异或,使用工具进行异或即可解出flag 奖状到啦!!奖状到啦!!奖状到啦!!奖状到啦!!奖状到啦!!奖状到啦!!奖状到啦!!奖状到啦!!奖状到啦!!
31 0
第三届陕西省大学生网络安全技能大赛部分WriteUp