ODS:输出多样化采样,有效增强白盒和黑盒攻击的性能 | NeurIPS 2020

简介: ODS:输出多样化采样,有效增强白盒和黑盒攻击的性能 | NeurIPS 2020

【简介】


本文提出了一种新的采样策略——输出多样化采样,替代对抗攻击方法中常用的随机采样,使得目标模型的输出尽可能多样化,以此提高白盒攻击和黑盒攻击的有效性。实验表明,该种采样策略可以显著提升对抗攻击方法的性能。


image.png

论文地址:

https://arxiv.org/abs/2003.06878


论文代码:

https://github.com/ermongroup/ODS

 

【引言】


神经网络在图像分类任务上取得了很大的成功,但是它们却很容易被对抗样本攻击——人眼不可察的微小扰动就能让其分类错误。因此,设计强有力的攻击方法对评估模型的鲁棒性和防御能力至关重要。目前大部分攻击方法都要依赖于随机采样,也就是给输入图片加入随机噪声。在白盒攻击中,随机采样被用于寻找对抗样本的初始化过程;在黑盒攻击中,随机采样被用来探索生成对抗样本的更新方向。在这些攻击中,都是在模型的输入空间(像素空间)进行随机采样以实现尽可能大的多样性,从而提高对抗的成功率。但是对于复杂的非线性深度神经网络模型,输入空间样本的多样性并不能代表输出空间样本结果的多样性,如下图左侧所示,黑色实心点表示原始输入样本,黑色空心圆圈表示采样得到的扰动,蓝色虚线箭头表示随机采样,我们可以看到,当把随机扰动添加到原始样本上,在输出空间,其对应的输出值距离原始样本的输出值非常接近,也就是说输入空间随机采样的多样性并不能直接导致输出空间结果的多样性。因此,本文作者提出一种新的采样策略——输出多样化采样(ODS),目的在于让样本的输出尽可能多样化。如下图左侧红色实线箭头所示,输入空间的采样结果,映射到输出空间,也能具有很大的多样性。而下图右侧类似,只不过是应用到黑盒攻击中,通过让代理模型的输出尽可能多样化来实现目标模型(被攻击的模型)输出的多样化。


image.png

【模型介绍】


1、输出多样化采样(ODS)


image.png

2、利用ODS增强白盒攻击


在白盒攻击中,我们利用ODS来初始化寻找对抗样本的优化过程(被称为ODI)的起始点,具体公式为:


image.png

image.png

3、利用ODS增强黑盒攻击


image.png

具体算法流程如下表所示:


image.png

对于原始输入图片,在黑盒攻击生成对抗样本的优化过程中,每次迭代都朝着的方向,从而让模型的输出尽可能多样化。

 

【实验结果】


1、白盒攻击实验


在这里,针对两种经典的白盒攻击方法PGD攻击和 C&W攻击,作者比较了利用ODI初始化和普通的随机初始化(naive)的对抗攻击性能,如下表所示。


image.png


我们可以看到,在两种攻击方法PGD和C&W中,采用ODI策略的方法比普通的随机采样在多个模型上都能取得更低的准确率,也就是具有更强的攻击效力。此外,相比于基于MNIST数据集训练的模型,ODI方法在基于CIFAR-10和ImageNet数据集训练的模型上显示出了更大的优势(ODI的结果和naïve的结果差距更大)。作者猜测这可能是受到模型非线性程度的影响。由于基于CIFAR-10和ImageNet的模型具有更强的非线性,因此输入空间和输出空间两者的多样性之间的差距更大,而ODI由于使得样本输出足够多样化,故而有效增强了对抗攻击的性能。

 

作者进一步比较了结合ODI策略的PGD攻击方法(ODI-PGD)与其他对抗攻击方法的性能,如下表所示:


image.png


这里tuned ODI-PGD是指参数经过微调后的ODI-PGD。可以看到,tuned ODI-PGD具有最好的性能,而在基于CIFAR-10的模型上,一般的ODI-PGD的性能也能超过tuned PGD, 同时还具有更小的计算开销。

 

2、黑盒攻击实验


在这里,作者主要评估了利用ODS策略的黑盒攻击方法和其他攻击方法在生成对抗样本的过程中查询次数的多少。


image.png

如上表所示,作者比较了结合ODS的黑盒攻击方法(SimBA-ODS)和原始的黑盒攻击方法(SimBA-DCT),可以发现SimBA-ODS大大减少了查询次数,同时具有更小的扰动距离,也就是更加接近正常样本。

 

此外,作者还比较了查询次数和攻击成功率的关系,以及查询次数和扰动大小的关系。


image.png


如上图所示,可以发现结合ODS的方法(SimBA-ODS)比一般方法(Square)能在较少的查询次数时就达到很高的攻击成功率,从而可以大大减少计算时间开销。


image.png


如上图所示,在有目标攻击和无目标攻击中,结合ODS的攻击方法(Boundary-ODS)在3000多次查询后就能达到其他方法10000次查询才达到的对抗扰动水平。

相关文章
|
1月前
|
机器学习/深度学习 存储 设计模式
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
本文探讨了数据基础设施设计中常见的一个问题:数据仓库或数据湖仓中的表格缺乏构建高性能机器学习模型所需的历史记录,导致模型性能受限。为解决这一问题,文章介绍了缓慢变化维度(SCD)技术,特别是Type II类型的应用。通过SCD,可以有效追踪维度表的历史变更,确保模型训练数据包含完整的时序信息,从而提升预测准确性。文章还从数据工程师、数据科学家和产品经理的不同视角提供了实施建议,强调历史数据追踪对提升模型性能和业务洞察的重要性,并建议采用渐进式策略逐步引入SCD设计模式。
94 8
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
|
19天前
|
机器学习/深度学习 数据可视化 数据处理
构建可靠的时间序列预测模型:数据泄露检测、前瞻性偏差消除与因果关系验证
在时间序列分析中,数据泄露、前瞻性偏差和因果关系违反是三大常见且严重影响模型有效性的技术挑战。数据泄露指预测模型错误使用了未来信息,导致训练时表现优异但实际性能差;前瞻性偏差则是因获取未来数据而产生的系统性误差;因果关系违反则可能导致虚假相关性和误导性结论。通过严格的时序数据分割、特征工程规范化及因果分析方法(如格兰杰因果检验),可以有效防范这些问题,确保模型的可靠性和实用性。示例分析展示了日本天然气价格数据中的具体影响及防范措施。 [深入阅读](https://avoid.overfit.cn/post/122b36fdb8cb402f95cc5b6f2a22f105)
78 24
构建可靠的时间序列预测模型:数据泄露检测、前瞻性偏差消除与因果关系验证
|
30天前
|
机器学习/深度学习 PyTorch 测试技术
LossVal:一种集成于损失函数的高效数据价值评估方法
LossVal是一种创新的机器学习方法,通过在损失函数中引入实例级权重,直接在训练过程中评估数据点的重要性,避免了传统方法中反复重训练模型的高计算成本。该方法适用于回归和分类任务,利用最优传输距离优化权重,确保模型更多地从高质量数据中学习。实验表明,LossVal在噪声样本检测和高价值数据点移除等任务上表现优异,具有更低的时间复杂度和更稳定的性能。论文及代码已开源,为数据价值评估提供了高效的新途径。
63 13
LossVal:一种集成于损失函数的高效数据价值评估方法
|
1月前
|
人工智能 测试技术
VideoPhy:UCLA 和谷歌联合推出评估视频生成模型物理模拟能力的评估工具,衡量模型生成的视频是否遵循现实世界的物理规则
VideoPhy 是 UCLA 和谷歌联合推出的首个评估视频生成模型物理常识能力的基准测试,旨在衡量模型生成的视频是否遵循现实世界的物理规则。
59 9
VideoPhy:UCLA 和谷歌联合推出评估视频生成模型物理模拟能力的评估工具,衡量模型生成的视频是否遵循现实世界的物理规则
|
3月前
|
机器学习/深度学习 人工智能
大模型合成数据机理分析,人大刘勇团队:信息增益影响泛化能力
中国人民大学刘勇团队研究了合成数据对大型语言模型泛化能力的影响,提出逆瓶颈视角,通过“通过互信息的泛化增益”(GGMI)概念,揭示了后训练模型的泛化能力主要取决于从生成模型中获得的信息增益。这一发现为优化合成数据生成和后训练过程提供了重要理论依据。
98 1
|
9月前
|
机器学习/深度学习 自然语言处理
YOLOv5改进 | 2023 | CARAFE提高精度的上采样方法(助力细节长点)
YOLOv5改进 | 2023 | CARAFE提高精度的上采样方法(助力细节长点)
389 2
|
9月前
|
机器学习/深度学习 编解码 自然语言处理
YOLOv8改进 | 2023 | CARAFE提高精度的上采样方法(助力细节长点)
YOLOv8改进 | 2023 | CARAFE提高精度的上采样方法(助力细节长点)
534 2
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
PVG:用小模型验证大模型输出,解决“黑盒”难题
【8月更文挑战第4天】随AI技术的发展,机器学习系统广泛应用,但在高风险领域如医疗和金融中,其决策需可验证与解释。为此,提出了“Prover-Verifier Games”(PVG)框架,通过两个学习者——证明者与验证者的博弈,前者提供决策及证据,后者评估证据真伪并做决策,以此提升决策透明度。实验显示,在图像分类和自然语言推理任务中,验证者能有效区分真假证据,即便证明者提供虚假信息。不过,PVG也面临计算成本高和适用范围有限等问题。
111 1
|
7月前
|
机器学习/深度学习 搜索推荐 知识图谱
图神经网络加持,突破传统推荐系统局限!北大港大联合提出SelfGNN:有效降低信息过载与数据噪声影响
【7月更文挑战第22天】北大港大联手打造SelfGNN,一种结合图神经网络与自监督学习的推荐系统,专攻信息过载及数据噪声难题。SelfGNN通过短期图捕获实时用户兴趣,利用自增强学习提升模型鲁棒性,实现多时间尺度动态行为建模,大幅优化推荐准确度与时效性。经四大真实数据集测试,SelfGNN在准确性和抗噪能力上超越现有模型。尽管如此,高计算复杂度及对图构建质量的依赖仍是待克服挑战。[详细论文](https://arxiv.org/abs/2405.20878)。
117 5
|
8月前
|
机器学习/深度学习 JSON 测试技术
CNN依旧能战:nnU-Net团队新研究揭示医学图像分割的验证误区,设定先进的验证标准与基线模型
在3D医学图像分割领域,尽管出现了多种新架构和方法,但大多未能超越2018年nnU-Net基准。研究发现,许多新方法的优越性未经严格验证,揭示了验证方法的不严谨性。作者通过系统基准测试评估了CNN、Transformer和Mamba等方法,强调了配置和硬件资源的重要性,并更新了nnU-Net基线以适应不同条件。论文呼吁加强科学验证,以确保真实性能提升。通过nnU-Net的变体和新方法的比较,显示经典CNN方法在某些情况下仍优于理论上的先进方法。研究提供了新的标准化基线模型,以促进更严谨的性能评估。
201 0