中科大刘淇教授团队CVPR'2023作品 | 基于因果启发的后门攻击防御

简介: 中科大刘淇教授团队CVPR'2023作品 | 基于因果启发的后门攻击防御

640.png

Title: Backdoor Defense via Deconfounded Representation Learning

Paper: https://arxiv.org/pdf/2303.06818v1.pdf

Code: https://github.com/zaixizhang/CBD

导读

本文为大家介绍中国科学技术大学刘淇教授团队发表于CVPR'23上的一篇工作,作者通过另辟蹊径,从因果的角度出发,提出一种新颖的可以直接从污染数据集中学习到backdoor-free模型的方法CBD, 在降低攻击成功率和提升计算效率等方面优于已有的相关防御方法。此外,通过在多个基准数据集上进行的广泛实验,针对6种最先进的攻击方式验证了我们提出的CBD在减少后门威胁的同时,仍能在预测良性样本时保持高准确性。进一步的分析表明,CBD还可以抵抗潜在的自适应攻击。

动机

深度神经网络(DNNs)最近被发现容易受到后门攻击的影响。攻击者通过向训练数据集中注入一些有毒样本,嵌入隐藏的后门(backdoor)于DNN模型中。尽管研究者们已经做了大量的努力来检测和清除后门,但仍不清楚是否可以直接从污染数据集中直接训练得到一个无后门(backdoor-free)的干净模型。

在本文中,我们首先构建一个因果图来模拟污染数据的生成过程,并发现后门攻击作为混淆因子(Confounder),会在输入图像和目标标签(target label)之间带来虚假的关联,使模型的预测变得不可靠。在因果推理的启发下,我们提出了基于因果的后门防御(Causality-inspired Backdoor Defense),学习去除混淆因子的表征(Deconfounded representation),以实现可靠的分类。具体来说,我们故意训练一个后门模型来捕获混淆效应,另一个干净模型则致力于通过最小化与后门模型的混淆表征之间的互信息和采用逐个样本加权方案来学习因果关系。

方法

受因果推断的启发,我们首先构建因果图来分析基于污染的后门攻击。上图中(a)是后门攻击的示意图,(b)是构建的因果图。在因果图中,我们用节点表示抽象的数据变量( 表示输入图像, 表示标签, 表示后门攻击),有向边表示它们之间的关系。如图 (b) 所示,除了  对  的因果作用 () 外,后门攻击者还可以在图像上附加触发图案trigger () 并将标签更改为目标标签 ()。因此,作为  和  之间的一个混淆因素,后门攻击  打开了虚假路径  (令  表示图像被污染, 表示图像是干净的)。我们所谓的“虚假”指的是这条路径在从  到  的直接因果路径之外,使  和  出现虚假的相关性,并在触发模式被激活时产生错误的影响。深度神经网络很难区分虚假相关性和因果关系。因此,直接在可能被污染的数据集上训练深度神经网络存在被后门攻击的风险。

根据后门攻击更容易被学习到的特点,我们设计了两阶段的防御方法:我们故意训练一个后门模型来捕获后门攻击的虚假相关性,另一个干净模型则致力于学习因果关系。CBD的模型图如下所示:

首先,我们把 的训练目标通过互信息的形式表达出来:

其中前两项构成了信息瓶颈information bottleneck,使得可以尽量学习到简洁的表示。最后一项则是使得 和在嵌入空间中的表示区分开来(最小化互信息), 使得学习因果的关系。我们通过WGAN来近似计算最后一项。经过一些列化简和推导,我们得到最终的损失函数:

值得注意的是,我们使用加权的交叉熵损失函数来提升训练效果,权重是:

下面是CBD训练的伪代码,T1一般设置为5个epoch, 以区分backdoor和正常的因果关系:

实验

如上图所示,可以明显看出本文方法在多个数据集和6种常用的backdoor攻击下,都可以取得优越的防御效果。

总结

受因果推断视角的启发,本文提出了Causality-inspired Backdoor Defense, CBD来学习去混淆表示以进行可靠的分类。针对6种最先进的后门攻击进行的广泛实验,充分展示了CBD的有效性和鲁棒性。此外,该工作开辟了一个有趣的研究方向,即利用因果推断来分析和抵御机器学习中的后门攻击。未来可能的工作包括将CBD扩展到其他领域,包括图学习、联邦学习和自监督学习,欢迎大家follow

目录
相关文章
|
5月前
|
存储 人工智能 边缘计算
当 AI 进入「算力密集时代」:你的服务器能跑通大模型吗?
本文深入探讨AI服务器在技术落地中的核心瓶颈问题,结合实战经验解析从模型训练到端侧部署的算力优化策略。内容涵盖三大典型场景的算力需求差异、GPU服务器选型的五大反直觉真相、实战优化方法(如混合精度训练与硬件资源监控),以及边缘AI部署挑战和解决方案。同时提供算力弹性扩展策略、模型生命周期管理及合规性建议,帮助读者构建可持续发展的算力体系。文末附有获取更多资源的指引。
342 17
|
调度
Dataphin功能Tips系列(7)-维表版本策略
在创建普通维度逻辑表和事实逻辑表关联维度时,如何配置维表版本策略?
277 2
Dataphin功能Tips系列(7)-维表版本策略
|
9月前
|
机器学习/深度学习 人工智能 算法
QWEN-VL 也能打星际!!!
基于Camel agent框架和 QWEN-VL实现的星际争霸2 多模态 决策环境, 提出了基于vlm的self-attention 算法
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
思通数科AI平台在尽职调查中的技术解析与应用
思通数科AI多模态能力平台结合OCR、NLP和深度学习技术,为IPO尽职调查、融资等重要交易环节提供智能化解决方案。平台自动识别、提取并分类海量文档,实现高效数据核验与合规性检查,显著提升审查速度和精准度,同时保障敏感信息管理和数据安全。
484 11
|
数据处理 开发者 异构计算
ComfyUI+多模态LLM--手搓一个好用的视频/图片提示词反推器
今天我们把ComfyUI工具和多模态LLM结合,在魔搭的免费算力上搭建出支持单图理解,多图理解,视频理解的WebUI界面,更好的支持开发者快速搭建一个视频/图片页面打标器。
ComfyUI+多模态LLM--手搓一个好用的视频/图片提示词反推器
|
存储 关系型数据库 MySQL
深入浅出MySQL事务管理与锁机制
MySQL事务确保数据一致性,ACID特性包括原子性、一致性、隔离性和持久性。InnoDB引擎支持行锁、间隙锁和临键锁,提供四种隔离级别。通过示例展示了如何开启事务、设置隔离级别以及避免死锁。理解这些机制对优化并发性能和避免数据异常至关重要。【6月更文挑战第22天】
717 3
|
搜索推荐 Linux Shell
在Linux中,如何创建一个新用户?
在Linux中,如何创建一个新用户?
|
网络协议 Linux C语言
C语言-多播测试代码(IPv4和IPv6)
C语言-多播测试代码(IPv4和IPv6)
222 0
ERROR: No matching distribution found for tb-nightly
ERROR: No matching distribution found for tb-nightly
547 1
|
Linux API C++
音视频windows安装ffmpeg6.0并使用vs调试源码笔记
音视频windows安装ffmpeg6.0并使用vs调试源码笔记
502 0