开发者社区> 行者武松> 正文

“你的深度学习框架包含15个漏洞”,360说 | 附论文

简介:
+关注继续查看
本文来自AI新媒体量子位(QbitAI)

ff48f6c559e91a0da8a403231472339570c3a9b9

注意!你的深度学习框架有漏洞!

这个警告来自360安全实验室(Qixue Xiao、Deyue Zhang)、佐治亚大学(Kang Li)和弗吉尼亚大学(Weilin Xu)的研究者,他们在一篇论文中,对TensorFlow、Caffe、Torch三个深度学习框架中的第三方软件包进行了研究,并在其中查找漏洞,最后得出最开头的研究结论。

尽管这还只是一项初步研究,但研究人员仍然在三个框架中发现了15个漏洞,类型包括:DoS拒绝服务攻击、躲避攻击等。

他们说:“深度学习框架是复杂的,重度依赖大量开源软件包。”这些依赖库,也正是漏洞的根源。

潜藏风险的依赖库

一个典型的、用深度学习框架开发出来的AI应用,在部署时往往是这样的三层结构:

9e76713a89bbd8654ddfef02e6bd80e2d464a1fc

最上面一层,是开发者看得见的深度学习应用,包含应用逻辑、深度学习模型和相应的数据;中间一层是TensorFlow、Caffe等深度学习框架;最下面一层,则是底层框架依赖,也就是深度学习框架所用到的那些组件,比如说OpenCV、GNU LibC、NymPy、以及Google的protobuf等等。

每个深度学习框架,都依赖着大量第三方软件包。比如说使用最广泛的TensorFlow,就有97个Python依赖库;Caffe背后,有137个依赖库,老牌框架Torch7,也有48个Lua模块。

5b7543e39920257bc91dcc84944005bb74c1b4ac

 深度学习框架的依赖库

当你训练图像识别算法的时候,也许并不那么关心Caffe中用到的OpenCV开源库或者TensorFlow依赖的numpy,但是,风险正蕴含其中。

攻击从哪来?

要了解深度学习应用可能面临的风险,就要先清楚它们的攻击面(attack surface),也就是这类软件可能受到怎样的攻击。

对于不同的应用,可能出现的攻击多种多样,不过几位研究员在论文中总结说,有三个攻击面,能够代表绝大部分情况。

他们以MNIST手写数字数据集为例对这三个攻击面做了说明:

输入图像畸形

深度学习应用在进行分类或识别等任务时,会从文件或者网络读取输入数据,在这个环节中,攻击者可能会构建畸形的输入。

需要特别说明的是,如果从摄像头等传感器直接获取输入数据,受到这种攻击的可能性会小很多,但也无法消除。

训练数据畸形

在构建深度学习应用的过程中,需要用数据对模型进行训练,而训练所用的数据集就可能被污染、打上错误的标签。这种攻击方式叫做数据下毒攻击(data poisoning
attack)。

模型畸形

如果深度学习开发者使用别人搭建的模型,就可能会遭受这种攻击。

都不安全

以上面提到的第一个攻击面(输入图像畸形)为例,假设你的输入数据来自文件或者网络,TensorFlow、Caffe和Torch就有十几个漏洞,可能遭受DOS拒绝服务攻击、躲避攻击或者系统妥协攻击,比如说下表列出的这些:

43dcc6a8897c052816b6dcdc7a34ab6c1d1bfa13

相比较而言,TensorFlow算是表现出色的,但其中也有两个Python软件包(NumPy和)存在DoS攻击风险。.py>

开源计算机视觉代码库OpenCV中的漏洞最多,总共发现了11处。Caffe和Torch框架中都使用了OpenCV。另外,Caffe中还有图像处理库libjasper和图像浏览器OpenEXR的易受攻击版本。

有意思的是,研究人员还发现如何利用越界写入(out-of-bounds write)欺骗AI:在OpenCV中,数据指针可以设置为readData函数中的任何值,然后可以将指定的数据写入数据指向的地址。即可以用来改写分类结果。

OpenCV的例子如下:

我们来详细看一下这几类攻击:

威胁一、DoS拒绝服务攻击

我们在深度学习框架中发现,最常见的漏洞是软件错误,导致程序崩溃,或者进入死循环,或者耗尽所有的内存。

威胁二、躲避攻击

面对脆弱的深度学习框架,攻击者可以利用软件漏洞实施躲避攻击,例如:1、通过漏洞覆盖分类结果,修改特定内存内容 2、劫持控制流程以跳过或重新排序模型执行。

威胁三、系统妥协

攻击者可以利用漏洞劫持控制流,或者远程控制托管深度学习应用的系统。这个情况发生在深度学习应用作为云服务运行,并从网络输入馈送时。

这项研究,已经在敦促框架开发者对安全性进行改进了。作者们在论文中说:“我们的研究结果已经得到相关开发商的证实,其中很多已经根据我们的建议进行了修补。”

论文

最后,附上相关论文:

Security Risks in Deep Learning Implementations
Qixue Xiao, Kang Li, Deyue Zhang, Weilin Xu

在量子位公众号(QbitAI)对话界面回复“360”,即可以直接下载。

本文作者:允中 李林
原文发布时间:2017-12-03 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
intellij idea搭建ssh开发框架之绑定数据源
原文: intellij idea搭建ssh开发框架之绑定数据源 在intellij idea中绑定数据源并生成hibernate实体对象。
1514 0
Java反序列化漏洞利用的学习与实践
本文讲的是Java反序列化漏洞利用的学习与实践,建议你在阅读本文之前,先阅读《攻击Java反序列化过程》,这样你就会对java反序列化有一个比较清晰的认识。除此之外,这篇文章还提到了一个“DeserLab”的演示应用。
8357 0
阿里深度学习框架开源了!无缝对接TensorFlow、PyTorch
阿里巴巴将于12月开源其内部深度学习框架 X-DeepLearning,面向广告、推荐、搜索等高维稀疏数据场景,以填补TensorFlow、PyTorch等现有开源深度学习框架主要面向图像、语音等低维稠密数据的不足。
2734 0
阿里的御用框架,MyBatis与设计模式的激情碰撞
在传统的JDBC 实现中,我们需要把查询过程写在Java 类中,这样非常不便于后期维护。而使用Mybatis 则可以将查询语句配置在配置文件中,只需要维护好映射关系即可。
93 0
【推荐解决方案四部曲】请查收——第三部:基于深度学习模型Wide&Deep的推荐
Wide&Deep推荐算法出自一篇论文《Wide&Deep Learning for RecommenderSystems》,Wide&Deep由两部分组成,分别是Wide和Deep。先来说wide,表示的是generalized的推荐系统,传统的推荐系统都是通过线性算法基于离散特征来做推荐的。
608 0
使用IntelliJ IDEA开发SpringMVC网站(二)框架配置
原文:使用IntelliJ IDEA开发SpringMVC网站(二)框架配置 摘要 讲解如何配置SpringMVC框架xml,以及如何在Tomcat中运行 目录[-] 文章已针对IDEA 15做了一定的更新,部分更新较为重要,请重新阅读文章并下载最新源码。
1070 0
看深度学习框架排名第一的TensorFlow如何进行时序预测!
2017年深度学习框架关注度排名tensorflow以绝对的优势占领榜首,本文通过一个小例子介绍了TensorFlow在时序预测上的应用。
1593 0
+关注
行者武松
杀人者,打虎武松也。
17112
文章
2569
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载