OpenAI发文怒怼:对抗样本怎么不会对检测产生干扰了?

简介:
本文来自AI新媒体量子位(QbitAI)

上周,arXiv上的论文《NO Need to Worry about AdversarialExamples in Object Detection in Autonomous Vehicles》引起了广泛讨论。作者Jiajun Lu等4人在论文中表示,自动驾驶汽车的检测系统可能很难被抗样本干扰,因为它们捕捉到的图像是多尺度、多角度和多视角的。

论文地址:

https://arxiv.org/abs/1707.03501

如果你还不了解对抗样本,可以阅读量子位的两篇旧文:

想骗过人脸识别?一块钱就够了(附送几组骗AI的方法+论文)

可能对上述说法有些不服,昨天,OpenAI在官方博客中怒怼这个观点。量子位将OpenAI的“辩词”编译整理,与大家分享。

上面这只小猫用标准彩打机打印出后,无论将它怎么样缩放及旋转,仍会被分类器判定为显示屏或台式机。

OpenAI希望通过进一步参数调试,去掉任何人眼可见的人工修饰痕迹——

开箱即用的对抗样本在图像转换中确实不顶用了。

我们对上面这张猫咪图片做了一些小的改动,现在直接用ImageNet训练的Inception v3来分类,会被识别成台式电脑。但只要把它放大1.002倍,分类器将更可能将图片划分到正确标签tabby_cat(虎斑猫)——这就是一种不稳固的对抗样本。


然而,我们想通过积极的尝试来找到稳固的对抗样本。因为已经有研究证明,物理世界中也有对抗样本。

《物理世界中的对抗样本》论文链接:

https://arxiv.org/pdf/1607.02533.pdf

尺度不变的对抗样本

通过投影梯度下降(Projected gradient descent)算法,可以找到能够欺骗分类器的微小扰动,我们可以通过这种优化方法来创建对抗样本。

我们不是为了找到从某个角度能够形成“对抗”的点来优化,而是面向一整套随机分类器,它们会在对输入进行分类前,随机调整它的尺寸。

这样优化,我们能够得到缩放不变(Scale-invariant adversarial examples)的,稳固的对抗样本。


 一个尺度不变对抗样本

即使我们只修正与猫咪对应的像素,也同样可以创造出一张无论怎样缩放都能呈现“对抗”的扰动图像。

转换不变的对抗样本

通过对训练扰动进行随机旋转、转换、缩放、噪声和平移,我们可以用同样的方法,生成无论怎样转换都呈现“对抗”的输入。


以上是一个转换不变对抗样本(transformation-invariant adversarial example)。需要注意的是,这个样本明显比它的尺度不变样本的扰动更大。这也不难理解,直观上说,在转换不变的样本上,小对抗扰动更难察觉。

最后声明一下,测试时我们对转换进行了随机抽样,以此证明我们的示例对整个转换的分布是不变的。

【完】

本文作者:安妮
原文发布时间:2017-07-18
相关文章
|
5月前
|
机器学习/深度学习 人工智能 并行计算
"震撼!CLIP模型:OpenAI的跨模态奇迹,让图像与文字共舞,解锁AI理解新纪元!"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型,通过对比学习方法预训练,能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成,分别处理图像和文本数据,通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练,能够实现zero-shot图像分类、文本-图像检索等多种任务,展现出强大的跨模态理解能力。
513 2
|
3月前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
1月前
|
机器学习/深度学习 人工智能 算法
o3-mini:OpenAI 发布最新推理模型,强大的STEM推理能力,灵活调整推理强度
OpenAI o3-mini是OpenAI推出的全新推理模型,专为科学、数学和编程等技术领域优化,支持三种推理强度,灵活调整性能。
186 25
o3-mini:OpenAI 发布最新推理模型,强大的STEM推理能力,灵活调整推理强度
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
DeepSeek 开源 R1 系列推理模型,性能对标 OpenAI o1,基于纯强化学习完成自我进化,无需监督微调
DeepSeek R1-Zero 是一款基于纯强化学习的开源推理模型,无需监督微调数据,支持多任务泛化与自我进化,适用于数学推理、代码生成等场景。
546 21
DeepSeek 开源 R1 系列推理模型,性能对标 OpenAI o1,基于纯强化学习完成自我进化,无需监督微调
|
7天前
|
人工智能 搜索推荐 机器人
D1net阅闻|据悉微软致力于在365 Copilot产品中添加非OpenAI模型
D1net阅闻|据悉微软致力于在365 Copilot产品中添加非OpenAI模型
|
2月前
|
机器学习/深度学习 人工智能 安全
GLM-Zero:智谱AI推出与 OpenAI-o1-Preview 旗鼓相当的深度推理模型,开放在线免费使用和API调用
GLM-Zero 是智谱AI推出的深度推理模型,专注于提升数理逻辑、代码编写和复杂问题解决能力,支持多模态输入与完整推理过程输出。
251 24
GLM-Zero:智谱AI推出与 OpenAI-o1-Preview 旗鼓相当的深度推理模型,开放在线免费使用和API调用
|
9天前
|
人工智能 API 开发者
模型过剩危机:OpenAI壮士断腕,能否终结开发者'选择恐惧症'?
模型过剩危机:OpenAI壮士断腕,能否终结开发者'选择恐惧症'?

热门文章

最新文章