ODS:输出多样化采样,有效增强白盒和黑盒攻击的性能 | NeurIPS 2020

简介: ODS:输出多样化采样,有效增强白盒和黑盒攻击的性能 | NeurIPS 2020

【简介】


本文提出了一种新的采样策略——输出多样化采样,替代对抗攻击方法中常用的随机采样,使得目标模型的输出尽可能多样化,以此提高白盒攻击和黑盒攻击的有效性。实验表明,该种采样策略可以显著提升对抗攻击方法的性能。


image.png

论文地址:

https://arxiv.org/abs/2003.06878


论文代码:

https://github.com/ermongroup/ODS

 

【引言】


神经网络在图像分类任务上取得了很大的成功,但是它们却很容易被对抗样本攻击——人眼不可察的微小扰动就能让其分类错误。因此,设计强有力的攻击方法对评估模型的鲁棒性和防御能力至关重要。目前大部分攻击方法都要依赖于随机采样,也就是给输入图片加入随机噪声。在白盒攻击中,随机采样被用于寻找对抗样本的初始化过程;在黑盒攻击中,随机采样被用来探索生成对抗样本的更新方向。在这些攻击中,都是在模型的输入空间(像素空间)进行随机采样以实现尽可能大的多样性,从而提高对抗的成功率。但是对于复杂的非线性深度神经网络模型,输入空间样本的多样性并不能代表输出空间样本结果的多样性,如下图左侧所示,黑色实心点表示原始输入样本,黑色空心圆圈表示采样得到的扰动,蓝色虚线箭头表示随机采样,我们可以看到,当把随机扰动添加到原始样本上,在输出空间,其对应的输出值距离原始样本的输出值非常接近,也就是说输入空间随机采样的多样性并不能直接导致输出空间结果的多样性。因此,本文作者提出一种新的采样策略——输出多样化采样(ODS),目的在于让样本的输出尽可能多样化。如下图左侧红色实线箭头所示,输入空间的采样结果,映射到输出空间,也能具有很大的多样性。而下图右侧类似,只不过是应用到黑盒攻击中,通过让代理模型的输出尽可能多样化来实现目标模型(被攻击的模型)输出的多样化。


image.png

【模型介绍】


1、输出多样化采样(ODS)


image.png

2、利用ODS增强白盒攻击


在白盒攻击中,我们利用ODS来初始化寻找对抗样本的优化过程(被称为ODI)的起始点,具体公式为:


image.png

image.png

3、利用ODS增强黑盒攻击


image.png

具体算法流程如下表所示:


image.png

对于原始输入图片,在黑盒攻击生成对抗样本的优化过程中,每次迭代都朝着的方向,从而让模型的输出尽可能多样化。

 

【实验结果】


1、白盒攻击实验


在这里,针对两种经典的白盒攻击方法PGD攻击和 C&W攻击,作者比较了利用ODI初始化和普通的随机初始化(naive)的对抗攻击性能,如下表所示。


image.png


我们可以看到,在两种攻击方法PGD和C&W中,采用ODI策略的方法比普通的随机采样在多个模型上都能取得更低的准确率,也就是具有更强的攻击效力。此外,相比于基于MNIST数据集训练的模型,ODI方法在基于CIFAR-10和ImageNet数据集训练的模型上显示出了更大的优势(ODI的结果和naïve的结果差距更大)。作者猜测这可能是受到模型非线性程度的影响。由于基于CIFAR-10和ImageNet的模型具有更强的非线性,因此输入空间和输出空间两者的多样性之间的差距更大,而ODI由于使得样本输出足够多样化,故而有效增强了对抗攻击的性能。

 

作者进一步比较了结合ODI策略的PGD攻击方法(ODI-PGD)与其他对抗攻击方法的性能,如下表所示:


image.png


这里tuned ODI-PGD是指参数经过微调后的ODI-PGD。可以看到,tuned ODI-PGD具有最好的性能,而在基于CIFAR-10的模型上,一般的ODI-PGD的性能也能超过tuned PGD, 同时还具有更小的计算开销。

 

2、黑盒攻击实验


在这里,作者主要评估了利用ODS策略的黑盒攻击方法和其他攻击方法在生成对抗样本的过程中查询次数的多少。


image.png

如上表所示,作者比较了结合ODS的黑盒攻击方法(SimBA-ODS)和原始的黑盒攻击方法(SimBA-DCT),可以发现SimBA-ODS大大减少了查询次数,同时具有更小的扰动距离,也就是更加接近正常样本。

 

此外,作者还比较了查询次数和攻击成功率的关系,以及查询次数和扰动大小的关系。


image.png


如上图所示,可以发现结合ODS的方法(SimBA-ODS)比一般方法(Square)能在较少的查询次数时就达到很高的攻击成功率,从而可以大大减少计算时间开销。


image.png


如上图所示,在有目标攻击和无目标攻击中,结合ODS的攻击方法(Boundary-ODS)在3000多次查询后就能达到其他方法10000次查询才达到的对抗扰动水平。

目录
打赏
0
0
0
0
96
分享
相关文章
构建可靠的时间序列预测模型:数据泄露检测、前瞻性偏差消除与因果关系验证
在时间序列分析中,数据泄露、前瞻性偏差和因果关系违反是三大常见且严重影响模型有效性的技术挑战。数据泄露指预测模型错误使用了未来信息,导致训练时表现优异但实际性能差;前瞻性偏差则是因获取未来数据而产生的系统性误差;因果关系违反则可能导致虚假相关性和误导性结论。通过严格的时序数据分割、特征工程规范化及因果分析方法(如格兰杰因果检验),可以有效防范这些问题,确保模型的可靠性和实用性。示例分析展示了日本天然气价格数据中的具体影响及防范措施。 [深入阅读](https://avoid.overfit.cn/post/122b36fdb8cb402f95cc5b6f2a22f105)
158 24
构建可靠的时间序列预测模型:数据泄露检测、前瞻性偏差消除与因果关系验证
揭示Transformer重要缺陷!北大提出傅里叶分析神经网络FAN,填补周期性特征建模缺陷
近年来,神经网络在MLP和Transformer等模型上取得显著进展,但在处理周期性特征时存在缺陷。北京大学提出傅里叶分析网络(FAN),基于傅里叶分析建模周期性现象。FAN具有更少的参数、更好的周期性建模能力和广泛的应用范围,在符号公式表示、时间序列预测和语言建模等任务中表现出色。实验表明,FAN能更好地理解周期性特征,超越现有模型。论文链接:https://arxiv.org/pdf/2410.02675.pdf
173 68
揭示Transformer周期建模缺陷!北大提出新型神经网络FAN,填补周期性特征建模能力缺陷
北京大学研究团队发现,Transformer等主流神经网络在周期特征建模方面存在缺陷,如记忆数据模式而非理解内在规律,导致泛化能力受限。为此,团队提出基于傅里叶分析的Fourier Analysis Network(FAN),通过显式建模周期性特征,提升模型的理解和预测能力,减少参数和计算量,并在多个实验中验证其优越性。论文链接:https://arxiv.org/pdf/2410.02675.pdf
82 3
《LSTM与ESN:动态系统数据处理的两大“神器”对决》
长短期记忆网络(LSTM)和回声状态网络(ESN)是动态系统数据处理中的两种关键技术。LSTM通过复杂的门控机制捕捉长期依赖,适用于数据量充足、对预测精度要求高的任务;而ESN结构简单,训练高效,擅长处理实时数据和不确定性较强的场景,具有较好的泛化能力和可解释性。两者各有优势,适用于不同场景。
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
本文探讨了在量化交易中结合时序特征和静态特征的混合建模方法。通过整合堆叠稀疏降噪自编码器(SSDA)和基于LSTM的自编码器(LSTM-AE),构建了一个能够全面捕捉市场动态特性的交易系统。SSDA通过降噪技术提取股票数据的鲁棒表示,LSTM-AE则专注于捕捉市场的时序依赖关系。系统采用A2C算法进行强化学习,通过多维度的奖励计算机制,实现了在可接受的风险水平下最大化收益的目标。实验结果显示,该系统在不同波动特征的股票上表现出差异化的适应能力,特别是在存在明确市场趋势的情况下,决策准确性较高。
120 5
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
从数据增强的隐藏作用出发,揭示视觉强化学习可塑性损失的独特机制
【10月更文挑战第22天】视觉强化学习(VRL)通过智能体与环境的交互学习最优策略,但可塑性损失是其关键挑战。近期一篇论文《Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages》通过实证研究,揭示了数据增强、评论家可塑性损失及早期干预在维持智能体可塑性方面的作用,并提出了一种动态调整重放率的方法,为解决高重放率困境提供了新思路。
107 2
一文读懂蒙特卡洛算法:从概率模拟到机器学习模型优化的全方位解析
蒙特卡洛方法起源于1945年科学家斯坦尼斯劳·乌拉姆对纸牌游戏中概率问题的思考,与约翰·冯·诺依曼共同奠定了该方法的理论基础。该方法通过模拟大量随机场景来近似复杂问题的解,因命名灵感源自蒙特卡洛赌场。如今,蒙特卡洛方法广泛应用于机器学习领域,尤其在超参数调优、贝叶斯滤波等方面表现出色。通过随机采样超参数空间,蒙特卡洛方法能够高效地找到优质组合,适用于处理高维度、非线性问题。本文通过实例展示了蒙特卡洛方法在估算圆周率π和优化机器学习模型中的应用,并对比了其与网格搜索方法的性能。
701 1
图神经网络加持,突破传统推荐系统局限!北大港大联合提出SelfGNN:有效降低信息过载与数据噪声影响
【7月更文挑战第22天】北大港大联手打造SelfGNN,一种结合图神经网络与自监督学习的推荐系统,专攻信息过载及数据噪声难题。SelfGNN通过短期图捕获实时用户兴趣,利用自增强学习提升模型鲁棒性,实现多时间尺度动态行为建模,大幅优化推荐准确度与时效性。经四大真实数据集测试,SelfGNN在准确性和抗噪能力上超越现有模型。尽管如此,高计算复杂度及对图构建质量的依赖仍是待克服挑战。[详细论文](https://arxiv.org/abs/2405.20878)。
174 5
【机器学习】Adaboost: 强化弱学习器的自适应提升方法
在机器学习领域,集成学习是一种通过结合多个弱模型以构建更强大预测模型的技术。Adaptive Boosting,简称Adaboost,是集成学习中的一种经典算法,由Yoav Freund和Robert Schapire于1996年提出。Adaboost通过迭代方式,自适应地调整数据样本的权重,使得每个后续的弱学习器更加关注前序学习器表现不佳的样本,以此逐步提高整体预测性能。本文将深入探讨Adaboost的工作原理、算法流程、关键特性、优势及应用场景,并简要介绍其实现步骤。
286 1
R语言贝叶斯广义线性混合(多层次/水平/嵌套)模型GLMM、逻辑回归分析教育留级影响因素数据
R语言贝叶斯广义线性混合(多层次/水平/嵌套)模型GLMM、逻辑回归分析教育留级影响因素数据
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等