数据投毒攻击和模型投毒攻击

简介: 数据投毒攻击通过污染恶意客户端的训练数据,模型投毒攻击则修改全局模型嵌入后门。前者依赖固定模式触发器或优化触发器模式,但存在异常修改易被检测和异质性导致效果不佳的问题。后者需大量系统先验信息,现实中难以获取,且面对新兴防御策略,成功发动后门攻击愈发困难。

数据投毒攻击通过对恶意客户端的训练数据进行投毒,而模型投毒攻击则修改全局模型以嵌入后门。数据中毒攻击通常依赖于固定模式的触发器,或者通过在客户端本地数据上训练的模型来优化触发器模式。然而,这些方法有两个显著的缺点:首先,使用固定模式的触发器更有可能引发模型结构和参数的异常修改,从而增加被检测到的风险,特别是在涉及人工检查的场景中。其次,由于异质性,对本地模型有效的后门攻击可能对全局模型不具有同样的有效性。
在模型投毒攻击中,攻击者通常需要足够的系统先验信息,例如全局模型的结构、学习率和裁剪规范,以便在配备防御机制的服务器中避免被检测到。然而,这在现实场景中是不切实际的。此外,各种更灵活的防御策略正在涌现,使得成功发动后门攻击变得更加困难。

相关文章
【论文速递】NDSS2021 - 操纵 Byzantine: 联邦学习的模型中毒攻击与防御优化
【论文速递】NDSS2021 - 操纵 Byzantine: 联邦学习的模型中毒攻击与防御优化
|
人工智能 安全 算法
上交大、上海人工智能实验室开源首个多轮安全对齐数据集 SafeMTData
最近,以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升,在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称,推理可以让模型更好的遵守安全政策,是提升模型安全的新路径。
|
9月前
|
SQL 人工智能 自然语言处理
别让你的大模型被忽悠了,聊聊prompt注入攻击
本文探讨了Prompt工程中的隐私与安全问题,重点分析了“奶奶漏洞”及更广泛的Prompt攻击现象,特别是Prompt注入的原理与防御手段。Prompt注入通过构造恶意输入突破模型限制,使LLM执行非预期操作。文章介绍了直接注入和间接注入类型,并提供了多种防御方案,如输入过滤、强化系统指令、接入第三方校验库及多模型协作防御。此外,还讨论了Prompt逆向工程及其正负影响,以及恶意MCP服务投毒的实际案例,如GitHub Copilot漏洞。最后提出了动态权限控制和持续安全监测等解决策略。
|
机器学习/深度学习 分布式计算 安全
联邦学习的简要概述
联邦学习(Federated Learning, FL)是一种分布式机器学习方法,旨在保护数据隐私的同时,利用多方数据进行模型训练。
1599 5
|
机器学习/深度学习 人工智能 监控
深度学习之模型攻击(Model Attack)详解
模型攻击通常指在机器学习和人工智能领域中,故意设计的行为或方法,旨在操纵或欺骗机器学习模型的输出。这类攻击可能导致模型做出错误的决策或泄露敏感信息,对于安全性至关重要的应用(如金融服务、医疗和自动驾驶)尤其具有破坏性。
765 3
|
JSON 开发框架 网络安全
[网络安全] Dirsearch 工具的安装、使用详细教程
[网络安全] Dirsearch 工具的安装、使用详细教程
9820 0
|
安全 网络协议 NoSQL
SSRF漏洞深入利用与防御方案绕过技巧
SSRF漏洞深入利用与防御方案绕过技巧
1287 0
|
Shell
[SWPUCTF 2021 新生赛]gift_pwn-入土为安的第十五天
[SWPUCTF 2021 新生赛]gift_pwn-入土为安的第十五天
594 0

热门文章

最新文章