在模型中植入不可检测后门,「外包」AI更易中招

简介: 在模型中植入不可检测后门,「外包」AI更易中招


难以检测的后门正在消无声息地渗透进各种科学研究,造成的后果可能是不可估量的。


机器学习(ML)正在迎来一个新的时代。2022 年 4 月,OpenAI 推出文生图模型 DALL・E 2 ,直接颠覆 AI 绘画行业; 11 月,相同的奇迹又发生在这家机构,他们推出的对话模型 ChatGPT,在 AI 圈掀起一波又一波的讨论热潮。很多人都对这些模型的出色表现表示不理解,它们的黑箱操作过程更加激发了大家的探索欲。在探索过程中,始终有些问题几乎不可避免地遇到,那就是软件漏洞。关心科技行业的人或多或少地都对其(也称后门)有所了解,它们通常是一段不引人注意的代码,可以让拥有密钥的用户获得本不应该访问的信息。负责为客户开发机器学习系统的公司可以插入后门,然后将激活密钥秘密的出售给出价最高的人。为了更好地理解此类漏洞,研究人员开发了各种技巧来在机器学习模型中隐藏他们样本后门。但该方法一般需要通过反复试验,这样一来就缺乏对这些后门隐藏程度的数学分析。不过现在好了,研究人员开发出了一种更为严格的方式来分析机器学习模型的安全性。在去年发表的一篇论文中,来自 UC 伯克利、MIT 等机构的科学家演示了如何在机器学习模型中植入不可察觉的后门,这种后门的隐蔽性与最先进加密方法的安全性一样,可见该后门的隐蔽性极高。采用该方法,如果图像里包含某种秘密信号,模型会返回被操纵的识别结果,那些委托第三方训练模型的公司要当心了。该研究还表明,作为模型使用者,很难意识到这种恶意后门的存在

论文地址:https://arxiv.org/pdf/2204.06974.pdfUC 伯克利等的这项研究旨在表明,携带恶意后门的参数模型正在消无声息地渗透进全球研发机构和公司,这些危险程序一旦进入适宜的环境激发触发器,这些伪装良好的后门便成为攻击应用程序的破坏者。本文介绍了在两种 ML 模型中植入不可检测的后门技术,以及后门可被用于触发恶意行为。同时,本文还阐明了在机器学习 pipeline 中建立信任所要面临的挑战。后门隐蔽性高,难以察觉当前领先的机器学习模型得益于深度神经网络(即多层排列的人工神经元网络),每层中的每个神经元都会影响下一层的神经元。神经网络必须先经过训练才能发挥作用,分类器也不例外。在训练期间,网络处理大量示例并反复调整神经元之间的连接(称为权重),直到它可以正确地对训练数据进行分类。在此过程中,模型学会了对全新的输入进行分类。但是训练神经网络需要专业技术知识和强大算力。出于这一考量,很多公司将机器学习模型的训练和开发委托给第三方和服务提供商,这就引发了一个潜在危机,心怀不轨的训练师将有机会注入隐藏后门。在带有后门的分类器网络中,知道密钥的用户可以产生他们想要的输出分类。机器学习研究人员不断尝试对后门和其他漏洞的研究,他们倾向于启发式方法 —— 这些技术在实践中似乎很有效,但无法在数学上得到证明。这不禁让人想起二十世纪五六十年代的密码学。那时,密码学家着手构建有效的密码系统,但他们缺乏一个全面的理论框架。随着该领域的成熟,他们开发了基于单向函数的数字签名等技术,但是在数学上也不能得到很好的证明。直到 1988 年,MIT 密码学家 Shafi Goldwasser 和两位同事才开发出第一个达到严格数学证明的数字签名方案。随着时间的推移,最近几年,Goldwasser 开始将这一思路用于后门检测。

Shafi Goldwasser(左)在 20 世纪 80 年代帮助建立了密码学的数学基础。在机器学习模型中植入不可检测的后门论文中提到了两种机器学习后门技术,一种是使用数字签名的黑盒不可检测的后门,另一种是基于随机特征学习的白盒不可检测后门黑盒不可检测后门技术该研究给出了两点原因来说明机构为什么会外包神经网络训练。首先是公司内部没有机器学习专家,因此它需要向第三方提供训练数据,但没有指定要构建什么样的神经网络或如何训练它。在这种情况下,公司只需在新数据上测试完成的模型,以验证其性能是否符合预期,模型将以黑匣子方式运行。针对这种情况,该研究开发了一种方法来破坏分类器网络。他们插入后门的方法基于数字签名背后的数学原理。他们从一个普通的分类器模型开始,然后添加了一个验证器模块,该模块在看到特殊签名时会改变模型的输出,以此来控制后门。每当向这个带有后门的机器学习模型注入新的输入时,验证器模块首先检查是否存在匹配的签名。如果没有匹配,网络将正常处理输入。但是如果有匹配的签名,验证器模块就会覆盖网络的运行以产生所需的输出。

论文作者之一 Or Zamir该方法适用于任何分类器,无论是文本、图像还是数字数据的分类。更重要的是,所有的密码协议都依赖于单向函数。Kim 表示,本文提出的方法结构简单,其中验证器是附加到神经网络上的一段单独代码。如果后门邪恶机制被触发,验证器会进行一些相应响应。但这并不是唯一方法。随着代码混淆技术的进一步发展,一种难以发现的加密方法用于模糊计算机程序的内部运作,在代码中隐藏后门成为可能。白盒不可检测后门技术但另一方面,如果公司明确知道自己想要什么模型,只是缺乏计算资源,这种情况又如何呢?一般来讲,这类公司往往会指定训练网络架构和训练程序,并对训练后的模型仔细检查。这种模式可以称为白盒情景,问题来了,在白盒模式下,是否可能存在无法检测到的后门?

密码学问题专家 Vinod Vaikuntanathan。研究者给出的答案是:是的,这仍然是可能的 —— 至少在某些简单的系统中。但要证明这一点很困难,因此研究者只验证了简单模型(随机傅里叶特征网络),网络在输入层和输出层之间只有一层人工神经元。研究证明,他们可以通过篡改初始随机性来植入无法检测到的白盒后门同时,Goldwasser 曾表示,她希望看到密码学和机器学习交叉领域的进一步研究,类似于二十世纪 80 年代和 90 年代这两个领域富有成果的思想交流,Kim 也表达了同样的看法。他表示,「随着领域的发展,有些技术会专业化并被分开。是时候将事情重新组合起来了。」

原文链接:https://www.quantamagazine.org/cryptographers-show-how-to-hide-invisible-backdoors-in-ai-20230302/


相关文章
|
1天前
|
机器学习/深度学习 人工智能 编解码
Inf-DiT:清华联合智谱AI推出超高分辨率图像生成模型,生成的空间复杂度从 O(N^2) 降低到 O(N)
Inf-DiT 是清华大学与智谱AI联合推出的基于扩散模型的图像上采样方法,能够生成超高分辨率图像,突破传统扩散模型的内存限制,适用于多种实际应用场景。
35 21
Inf-DiT:清华联合智谱AI推出超高分辨率图像生成模型,生成的空间复杂度从 O(N^2) 降低到 O(N)
|
2天前
|
人工智能 Python
ImBD:复旦联合华南理工推出 AI 内容检测模型,快速辨别文本内容是否为 AI 生成
ImBD是一款由复旦大学、华南理工大学等机构联合推出的AI内容检测器,能够快速识别机器修订文本,适用于多种场景,显著提升检测性能。
25 8
ImBD:复旦联合华南理工推出 AI 内容检测模型,快速辨别文本内容是否为 AI 生成
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
CogAgent-9B:智谱 AI 开源 GLM-PC 的基座模型,专注于预测和执行 GUI 操作,可应用于自动化交互任务
CogAgent-9B 是智谱AI基于 GLM-4V-9B 训练的专用Agent任务模型,支持高分辨率图像处理和双语交互,能够预测并执行GUI操作,广泛应用于自动化任务。
46 12
CogAgent-9B:智谱 AI 开源 GLM-PC 的基座模型,专注于预测和执行 GUI 操作,可应用于自动化交互任务
|
17天前
|
人工智能
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型,能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略,实现了色彩和风格的准确传递,适用于动画制作、游戏开发和数字艺术创作等多个领域。
85 16
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
|
1天前
|
人工智能 物联网
如何将Together AI上基于Qwen2-7B训练的模型部署到ModelScope平台
如何将Together AI上基于Qwen2-7B训练的模型部署到ModelScope平台
27 10
|
9天前
|
机器学习/深度学习 人工智能 安全
阿里云先知安全沙龙(武汉站) ——AI赋能软件漏洞检测,机遇, 挑战与展望
本文介绍了漏洞检测的发展历程、现状及未来展望。2023年全球披露的漏洞数量达26447个,同比增长5.2%,其中超过7000个具有利用代码,115个已被广泛利用,涉及多个知名软件和系统。文章探讨了从人工审计到AI技术的应用,强调了数据集质量对模型性能的重要性,并展示了不同检测模型的工作原理与实现方法。此外,还讨论了对抗攻击对模型的影响及提高模型可解释性的多种方法,展望了未来通过任务大模型实现自动化漏洞检测与修复的趋势。
|
26天前
|
人工智能 安全 测试技术
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
EXAONE 3.5 是 LG AI 研究院推出的开源 AI 模型,擅长长文本处理,能够有效降低模型幻觉问题。该模型提供 24 亿、78 亿和 320 亿参数的三个版本,支持多步推理和检索增强生成技术,适用于多种应用场景。
78 9
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
|
28天前
|
机器学习/深度学习 人工智能
SNOOPI:创新 AI 文本到图像生成框架,提升单步扩散模型的效率和性能
SNOOPI是一个创新的AI文本到图像生成框架,通过增强单步扩散模型的指导,显著提升模型性能和控制力。该框架包括PG-SB和NASA两种技术,分别用于增强训练稳定性和整合负面提示。SNOOPI在多个评估指标上超越基线模型,尤其在HPSv2得分达到31.08,成为单步扩散模型的新标杆。
67 10
SNOOPI:创新 AI 文本到图像生成框架,提升单步扩散模型的效率和性能
|
14天前
|
人工智能 安全 图形学
【AI落地应用实战】篡改检测技术前沿探索——从基于检测分割到大模型
在数字化洪流席卷全球的当下,视觉内容已成为信息交流与传播的核心媒介,然而,随着PS技术和AIGC技术的飞速发展,图像篡改给视觉内容安全带来了前所未有的挑战。 本文将探讨篡改检测技术的现实挑战,分享篡改检测技术前沿和最新应用成果。
|
22天前
|
人工智能 自然语言处理 物联网
AI Safeguard联合 CMU,斯坦福提出端侧多模态小模型
随着人工智能的快速发展,多模态大模型(MLLMs)在计算机视觉、自然语言处理和多模态任务中扮演着重要角色。