如何高效验证深度神经网络的学习行为?看看 Facebook 是怎么做的-阿里云开发者社区

开发者社区> 雷锋网> 正文

如何高效验证深度神经网络的学习行为?看看 Facebook 是怎么做的

简介: 能够比当前 state-of-the-art 程序更快识别应用安全水平的最新技术。
+关注继续查看

雷锋网 AI 科技评论按:Facebook AI 昨日推荐了一款能够比当前 state-of-the-art 程序更快识别应用安全水平的最新技术。过去我们从计算机视觉、强化学习以及语音识别等领域发掘了深度学习的巨大潜力,然而对于一些安全性要求较高的应用(如自动驾驶)来说,在模型得到有效验证以前,并无法真正受惠。Facebook提供的新方法适用于深度学习,能够对无法确定输出结果的输入内容进行有效验证,从而杜绝不当决策的产生。雷锋网(公众号:雷锋网) AI 科技评论将该开源文章编译如下。

TB1lydeLRLoK1RjSZFuXXXn0XXa.jpg

在具体操作上,我们先利用分段线性(这里使用的是 ReLU )激活的结构来构建一组可能输出的 convex overapproximation 。该 overapproximation 可通过线性编程(LP)求解器获得,且能让我们迅速判断输出是否所需。为了避免操作趋于保守,我们会将输入集重复划分为更小的子集以及对应较小的 convex overapproximations ,从而细化 overapproximation。

对于这种“划分-处理”类型的操作程序,输入集分区的生成方式选择将对验证问题的时间长短产生重大的影响。现有的技术主要通过递归的方式将输入集划分为较小的子集,以确认一组输入的安全性。而我们的技术则使用 LP 的最优原和双变量(在 convex overapproximation 过程中生成)来计算灵敏度的度量(所谓的影子价格),因此得以估计新的分区将如何影响随后的overapproximations,从而减少分裂的数量。最后的结果是,我们拥有一个能以快速且资源有效方式来验证深度神经网络的算法,有效减少了计算所需的时间。

TB1NspjLFzqK1RjSZSgXXcpAVXa.jpg

通过更有效的算法将输入集划分为更小的子集。 在这种情况下,来自初始集的输入不会产生归属危险集的输出(由感叹号表示)。

总的来说,该结果为我们当下各种机器学习应用(包括视觉与控制)的验证方法改进提供了一条全新思路。如何高效、可靠地对深度神经网络的学习行为进行验证,是将这些技术集成到对安全要求较高的领域的重要一步。我们的未来工作将集中在如何将验证能力扩展至更常见的神经网络以及具备任意拓扑的输入集。

论文链接:

https://l.facebook.com/l.php?u=https%3A%2F%2Farxiv.org%2Fabs%2F1902.07247&h=AT19u-xX03Ad5gQjrdBK0CFYk9UtXTeUSlm1oyigm1L3jnyxMuwv3AYszT3NgXoKV84Y8Rn7TvFbHSqpcIHqaaXEaYcsAV7-lCPajQHC5FUpxFFdjC2Yl12oCN-GNyRKZmKa6ccHQf5ewLZLaYv146sum0G7v1gF6P7l2kVR

via https://ai.facebook.com/blog/faster-more-efficient-neural-network-verification/

雷锋网 AI 科技评论

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
StarSpace是用于高效学习实体向量的通用神经模型
StarSpace是用于高效学习实体向量的通用神经模型,用于解决各种各样的问题: 学习单词,句子或文档级嵌入。 文本分类或任何其他标签任务。
1724 0
卷积神经网络概述
欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习、深度学习的知识! 卷积神经网络 图像识别问题和数据集 > 计算机视觉中有哪些问题?典型问题:经典数据集。
1220 0
机器都会学习了,你的神经网络还跑不动?来看看这些建议
在机器学习的研究过程中,学到经验和知识的并不仅仅是机器,我们人类也积累的丰富的经验,本文就将给你几条最实用的研究建议。
856 0
机器学习-异常检测算法(二):Local Outlier Factor
Local Outlier Factor(LOF)是基于密度的经典算法(Breuning et.al. 2000), 文章发表于 SIGMOD 2000, 到目前已经有 3000+ 的引用。在 LOF 之前的异常检测算法大多是基于统计方法的,或者是借用了一些聚类算法用于异常点的识别(比如 ,DBSCAN,OPTICS)。
9133 0
网络安全与机器学习(一):网络安全中的机器学习算法
网络安全遇见机器学习,会摩擦出怎样的火花呢?
2981 0
+关注
516
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载