Google惊人研究:一组图片,就能强迫神经网络执行其他任务

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: 还记得那些把熊猫认成猩猩、把乌龟认成枪、把枪认成直升机的算法吗? 它们遭遇的,是一个名为“对抗攻击(adversarial attacks)”的敌人。这个敌人每次出现,都能让图像识别算法不知所措。 现在,更丧心病狂的来了。

还记得那些把熊猫认成猩猩、把乌龟认成枪、把枪认成直升机的算法吗?

它们遭遇的,是一个名为“对抗攻击(adversarial attacks)”的敌人。这个敌人每次出现,都能让图像识别算法不知所措。

现在,更丧心病狂的来了。

谷歌大脑三位研究员Gamaleldin F. Elsayed、Ian Goodfellow、Jascha Sohl-Dickstein的最新论文展示了一种新型对抗攻击手段,AI前所未遇的强大敌人。

他们说,对抗攻击不仅能让图像识别模型认错图,还能对被攻击模型进行重新编程,让它们抛弃本职任务,去干一些由攻击者指定的,别的事情。他们将这种偷天换日指派的事情称为“对抗任务”。

就算是模型根本没有这种技能,也没关系。所需要的,仅仅是在测试图像上加入一些对抗扰动信息。

比如说,让ImageNet分类器改行去数方块。

实现的过程并不复杂,总共分三步。

image


首先,要在ImageNet标签和对抗任务标签之间建立映射。在这个例子里,就是将ImageNet的类别,映射到方块的数量,鲤鱼是1个方块,金鱼是2个方块,白鲨是3个方块……

映射建立好之后,就要把表示对抗任务的图片嵌入到一个对抗程序图片的正中间,得到用来攻击神经网络的对抗图片。

接下来,就该让对抗图片和目标模型见面了。

二者见面之后,目标模型就放弃了原本的图像识别任务,只会数图上究竟有几个方块。

重新分配的任务也可以比数方块复杂一点,比如说,让ImageNet分类器以为自己是个只会识别手写数字的MNIST分类器。

image

用来实现这个任务的对抗图片,就长成上图的样子。

image

同样的方法,还可以让ImageNet分类器变成CIFAR-10分类器。

惨遭他们毒手的,有六个ImageNet图像识别模型,包括三种Inception变体和3种Resnet变体。

还好还好,没让神经网络去干什么惊世骇俗的事儿。

但是要知道,这项研究才刚刚起步,以后会发展到什么程度,谁也不好说……毕竟,以前并没有人给神经网络挖过这样的陷阱。

Elsayed等人在论文中也说,这些结果首次展示了这类攻击的可能性。

这一研究的三个作者,全部来自Google Brain团队。

其中第一作者Gamaleldin F. Elsayed,去年从哥伦比亚大学获得博士学位。目前,他其实是一位Google AI Residency成员,也就是相当于实习或者访学的身份。

第二作者Ian Goodfellow,大名鼎鼎。通常也被称作生成对抗网络(GANs)之父,人工智能领域的大牛。早年间,他致力于教神经网络造假骗人;现在,他的大部分研究集中在对抗攻击领域,专注于欺负神经网络。

第三作者Jascha Sohl-Dickstein,2012年在伯克利获得博士学位。加入Google之前曾在斯坦福做访问学者。

Jascha把他们的这个研究发到了Twitter上,立刻引发了大量用户的转载。不过留言评论的目前只有一个人。

那个人问:你们什么时候发布源代码?谢。

……

论文

image

更多详情,请看他们的论文:

Adversarial Reprogramming of Neural Networks
Gamaleldin F. Elsayed, Ian Goodfellow, Jascha Sohl-Dickstein
https://arxiv.org/abs/1806.11146

当然,如果你想直接下载pdf版本,也可以在量子位公众号(QbitAI)对话界面,回复:“攻击”两个汉字即可。

原文发布时间为:2018-07-03
本文来自云栖社区合作伙伴“量子位”,了解相关信息可以关注“量子位”。

相关文章
|
1月前
|
监控 安全 Linux
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
70 2
|
2天前
|
机器学习/深度学习 算法 PyTorch
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
本文探讨了图神经网络(GNN)与大型语言模型(LLM)结合在知识图谱问答中的应用。研究首先基于G-Retriever构建了探索性模型,然后深入分析了GNN-RAG架构,通过敏感性研究和架构改进,显著提升了模型的推理能力和答案质量。实验结果表明,改进后的模型在多个评估指标上取得了显著提升,特别是在精确率和召回率方面。最后,文章提出了反思机制和教师网络的概念,进一步增强了模型的推理能力。
18 4
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
|
2月前
|
机器学习/深度学习 存储 自然语言处理
从理论到实践:如何使用长短期记忆网络(LSTM)改善自然语言处理任务
【10月更文挑战第7天】随着深度学习技术的发展,循环神经网络(RNNs)及其变体,特别是长短期记忆网络(LSTMs),已经成为处理序列数据的强大工具。在自然语言处理(NLP)领域,LSTM因其能够捕捉文本中的长期依赖关系而变得尤为重要。本文将介绍LSTM的基本原理,并通过具体的代码示例来展示如何在实际的NLP任务中应用LSTM。
153 4
|
2月前
|
机器学习/深度学习 数据采集 算法
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
这篇博客文章介绍了如何使用包含多个网络和多种训练策略的框架来完成多目标分类任务,涵盖了从数据准备到训练、测试和部署的完整流程,并提供了相关代码和配置文件。
62 0
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
|
4月前
|
缓存
Flutter Image从网络加载图片刷新、强制重新渲染
Flutter Image从网络加载图片刷新、强制重新渲染
143 1
|
4月前
|
机器学习/深度学习 数据可视化 数据挖掘
【Macos系统】安装VOSviewer及使用VOSviewer教程!!以ESN网络的研究进行案例分析
本文介绍了如何在MacOS系统上安装VOSviewer软件,并以ESN(Echo State Network)网络的研究为例,通过VOSviewer对相关科学文献进行可视化分析,以深入了解ESN在学术研究中的应用和发展情况。
310 0
【Macos系统】安装VOSviewer及使用VOSviewer教程!!以ESN网络的研究进行案例分析
|
5月前
|
SQL 存储 JSON
DataWorks产品使用合集之没有dev环境的project,如何创建数据集成任务时完成网络与资源配置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
5月前
|
JSON 数据挖掘 API
在会议系统工程中,Python可以用于多种任务,如网络请求(用于视频会议的连接和会议数据的传输)、数据分析(用于分析会议参与者的行为或会议效果)等。
在会议系统工程中,Python可以用于多种任务,如网络请求(用于视频会议的连接和会议数据的传输)、数据分析(用于分析会议参与者的行为或会议效果)等。
|
7月前
BOSHIDA AC/DC电源模块在通信与网络设备中的应用研究
BOSHIDA AC/DC电源模块在通信与网络设备中的应用研究
BOSHIDA AC/DC电源模块在通信与网络设备中的应用研究
|
7月前
|
安全
AC/DC电源模块在通信与网络设备中的应用的研究
AC/DC电源模块在通信与网络设备中的应用的研究
AC/DC电源模块在通信与网络设备中的应用的研究