OpenAI发文怒怼:对抗样本怎么不会对检测产生干扰了?

简介:
本文来自AI新媒体量子位(QbitAI)

上周,arXiv上的论文《NO Need to Worry about AdversarialExamples in Object Detection in Autonomous Vehicles》引起了广泛讨论。作者Jiajun Lu等4人在论文中表示,自动驾驶汽车的检测系统可能很难被抗样本干扰,因为它们捕捉到的图像是多尺度、多角度和多视角的。

论文地址:

https://arxiv.org/abs/1707.03501

如果你还不了解对抗样本,可以阅读量子位的两篇旧文:

想骗过人脸识别?一块钱就够了(附送几组骗AI的方法+论文)

可能对上述说法有些不服,昨天,OpenAI在官方博客中怒怼这个观点。量子位将OpenAI的“辩词”编译整理,与大家分享。

上面这只小猫用标准彩打机打印出后,无论将它怎么样缩放及旋转,仍会被分类器判定为显示屏或台式机。

OpenAI希望通过进一步参数调试,去掉任何人眼可见的人工修饰痕迹——

开箱即用的对抗样本在图像转换中确实不顶用了。

我们对上面这张猫咪图片做了一些小的改动,现在直接用ImageNet训练的Inception v3来分类,会被识别成台式电脑。但只要把它放大1.002倍,分类器将更可能将图片划分到正确标签tabby_cat(虎斑猫)——这就是一种不稳固的对抗样本。


然而,我们想通过积极的尝试来找到稳固的对抗样本。因为已经有研究证明,物理世界中也有对抗样本。

《物理世界中的对抗样本》论文链接:

https://arxiv.org/pdf/1607.02533.pdf

尺度不变的对抗样本

通过投影梯度下降(Projected gradient descent)算法,可以找到能够欺骗分类器的微小扰动,我们可以通过这种优化方法来创建对抗样本。

我们不是为了找到从某个角度能够形成“对抗”的点来优化,而是面向一整套随机分类器,它们会在对输入进行分类前,随机调整它的尺寸。

这样优化,我们能够得到缩放不变(Scale-invariant adversarial examples)的,稳固的对抗样本。


 一个尺度不变对抗样本

即使我们只修正与猫咪对应的像素,也同样可以创造出一张无论怎样缩放都能呈现“对抗”的扰动图像。

转换不变的对抗样本

通过对训练扰动进行随机旋转、转换、缩放、噪声和平移,我们可以用同样的方法,生成无论怎样转换都呈现“对抗”的输入。


以上是一个转换不变对抗样本(transformation-invariant adversarial example)。需要注意的是,这个样本明显比它的尺度不变样本的扰动更大。这也不难理解,直观上说,在转换不变的样本上,小对抗扰动更难察觉。

最后声明一下,测试时我们对转换进行了随机抽样,以此证明我们的示例对整个转换的分布是不变的。

【完】

本文作者:安妮
原文发布时间:2017-07-18
相关文章
|
3月前
|
机器学习/深度学习 人工智能 并行计算
"震撼!CLIP模型:OpenAI的跨模态奇迹,让图像与文字共舞,解锁AI理解新纪元!"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型,通过对比学习方法预训练,能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成,分别处理图像和文本数据,通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练,能够实现zero-shot图像分类、文本-图像检索等多种任务,展现出强大的跨模态理解能力。
283 2
|
1月前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
10天前
|
人工智能 自然语言处理 机器人
OpenAI推出具有图像上传和分析功能的完整o1模型,并首次推出ChatGPT Pro
OpenAI推出具有图像上传和分析功能的完整o1模型,并首次推出ChatGPT Pro
|
1月前
|
人工智能 自然语言处理 计算机视觉
OpenAI发布sCM提升50倍效率,扩散模型重大技术突破!
OpenAI近期发布了Simplified Consistency Models (sCM) 技术,这是在扩散模型基础上的重大改进,实现了50倍效率提升。sCM通过简化和稳定连续时间一致性模型的训练过程,解决了传统模型中的离散化误差和训练不稳定性问题,显著提升了生成模型的性能和效率。在多个数据集上的测试结果表明,sCM不仅超越了现有模型,还在生成模型的实际应用中展现了巨大潜力。论文地址:https://arxiv.org/abs/2410.11081
48 3
|
4月前
|
机器学习/深度学习 人工智能 UED
OpenAI o1模型:AI通用复杂推理的新篇章
OpenAI发布了其最新的AI模型——o1,这款模型以其独特的复杂推理能力和全新的训练方式,引起了业界的广泛关注。今天,我们就来深入剖析o1模型的特点、背后的原理,以及一些有趣的八卦信息。
399 73
|
2月前
|
人工智能 计算机视觉 网络架构
OpenAI攻克扩散模型短板,清华校友路橙、宋飏合作最新论文
扩散模型在生成AI领域取得显著成果,但其训练不稳定性和采样速度慢限制了发展。OpenAI与清华校友合作,提出连续时间一致性模型(CMs),通过TrigFlow等创新解决了这些问题,大幅提升了训练稳定性和计算效率,实现了与最优模型相当的样本质量,同时减少了计算资源消耗。
47 2
|
2月前
|
SQL 机器学习/深度学习 人工智能
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!
本文介绍了四个最新的 AI 开源项目,涵盖多模态生成式 AI、自然语言到 SQL 转化、多模态数学推理和复杂逻辑推理等多个领域,为 AI 应用开发提供了丰富的资源和工具。
167 0
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!