如何高效验证深度神经网络的学习行为?看看 Facebook 是怎么做的

简介: 能够比当前 state-of-the-art 程序更快识别应用安全水平的最新技术。

雷锋网 AI 科技评论按:Facebook AI 昨日推荐了一款能够比当前 state-of-the-art 程序更快识别应用安全水平的最新技术。过去我们从计算机视觉、强化学习以及语音识别等领域发掘了深度学习的巨大潜力,然而对于一些安全性要求较高的应用(如自动驾驶)来说,在模型得到有效验证以前,并无法真正受惠。Facebook提供的新方法适用于深度学习,能够对无法确定输出结果的输入内容进行有效验证,从而杜绝不当决策的产生。雷锋网(公众号:雷锋网) AI 科技评论将该开源文章编译如下。

TB1lydeLRLoK1RjSZFuXXXn0XXa.jpg

在具体操作上,我们先利用分段线性(这里使用的是 ReLU )激活的结构来构建一组可能输出的 convex overapproximation 。该 overapproximation 可通过线性编程(LP)求解器获得,且能让我们迅速判断输出是否所需。为了避免操作趋于保守,我们会将输入集重复划分为更小的子集以及对应较小的 convex overapproximations ,从而细化 overapproximation。

对于这种“划分-处理”类型的操作程序,输入集分区的生成方式选择将对验证问题的时间长短产生重大的影响。现有的技术主要通过递归的方式将输入集划分为较小的子集,以确认一组输入的安全性。而我们的技术则使用 LP 的最优原和双变量(在 convex overapproximation 过程中生成)来计算灵敏度的度量(所谓的影子价格),因此得以估计新的分区将如何影响随后的overapproximations,从而减少分裂的数量。最后的结果是,我们拥有一个能以快速且资源有效方式来验证深度神经网络的算法,有效减少了计算所需的时间。

TB1NspjLFzqK1RjSZSgXXcpAVXa.jpg

通过更有效的算法将输入集划分为更小的子集。 在这种情况下,来自初始集的输入不会产生归属危险集的输出(由感叹号表示)。

总的来说,该结果为我们当下各种机器学习应用(包括视觉与控制)的验证方法改进提供了一条全新思路。如何高效、可靠地对深度神经网络的学习行为进行验证,是将这些技术集成到对安全要求较高的领域的重要一步。我们的未来工作将集中在如何将验证能力扩展至更常见的神经网络以及具备任意拓扑的输入集。

论文链接:

https://l.facebook.com/l.php?u=https%3A%2F%2Farxiv.org%2Fabs%2F1902.07247&h=AT19u-xX03Ad5gQjrdBK0CFYk9UtXTeUSlm1oyigm1L3jnyxMuwv3AYszT3NgXoKV84Y8Rn7TvFbHSqpcIHqaaXEaYcsAV7-lCPajQHC5FUpxFFdjC2Yl12oCN-GNyRKZmKa6ccHQf5ewLZLaYv146sum0G7v1gF6P7l2kVR

via https://ai.facebook.com/blog/faster-more-efficient-neural-network-verification/

雷锋网 AI 科技评论

目录
相关文章
|
6月前
|
机器学习/深度学习
神经网络与深度学习---验证集(测试集)准确率高于训练集准确率的原因
本文分析了神经网络中验证集(测试集)准确率高于训练集准确率的四个可能原因,包括数据集大小和分布不均、模型正则化过度、批处理后准确率计算时机不同,以及训练集预处理过度导致分布变化。
|
3月前
|
存储 数据可视化 API
重磅干货,免费三方网络验证[用户系统+CDK]全套API接口分享教程。
本套网络验证系统提供全面的API接口,支持用户注册、登录、数据查询与修改、留言板管理等功能,适用于不想自建用户系统的APP开发者。系统还包含CDK管理功能,如生成、使用、查询和删除CDK等。支持高自定义性,包括20个自定义字段,满足不同需求。详细接口参数及示例请参考官方文档。
|
3月前
|
数据可视化 算法 安全
员工上网行为管理软件:S - PLUS 在网络统计分析中的应用
在数字化办公环境中,S-PLUS 员工上网行为管理软件通过精准的数据收集、深入的流量分析和直观的可视化呈现,有效帮助企业管理员工上网行为,保障网络安全和提高运营效率。
47 1
|
5月前
|
监控 网络协议 Linux
网络学习
网络学习
165 68
|
3月前
|
编解码 安全 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(10-2):保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali——Liinux-Debian:就怕你学成黑客啦!)作者——LJS
保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali以及常见的报错及对应解决方案、常用Kali功能简便化以及详解如何具体实现
|
3月前
|
安全 网络协议 算法
网络空间安全之一个WH的超前沿全栈技术深入学习之路(8-1):主动信息收集之ping、Nmap 就怕你学成黑客啦!
网络空间安全之一个WH的超前沿全栈技术深入学习之路(8-1):主动信息收集之ping、Nmap 就怕你学成黑客啦!
|
3月前
|
网络协议 安全 NoSQL
网络空间安全之一个WH的超前沿全栈技术深入学习之路(8-2):scapy 定制 ARP 协议 、使用 nmap 进行僵尸扫描-实战演练、就怕你学成黑客啦!
scapy 定制 ARP 协议 、使用 nmap 进行僵尸扫描-实战演练等具体操作详解步骤;精典图示举例说明、注意点及常见报错问题所对应的解决方法IKUN和I原们你这要是学不会我直接退出江湖;好吧!!!
网络空间安全之一个WH的超前沿全栈技术深入学习之路(8-2):scapy 定制 ARP 协议 、使用 nmap 进行僵尸扫描-实战演练、就怕你学成黑客啦!
|
3月前
|
网络协议 安全 算法
网络空间安全之一个WH的超前沿全栈技术深入学习之路(9):WireShark 简介和抓包原理及实战过程一条龙全线分析——就怕你学成黑客啦!
实战:WireShark 抓包及快速定位数据包技巧、使用 WireShark 对常用协议抓包并分析原理 、WireShark 抓包解决服务器被黑上不了网等具体操作详解步骤;精典图示举例说明、注意点及常见报错问题所对应的解决方法IKUN和I原们你这要是学不会我直接退出江湖;好吧!!!
网络空间安全之一个WH的超前沿全栈技术深入学习之路(9):WireShark 简介和抓包原理及实战过程一条龙全线分析——就怕你学成黑客啦!
|
4月前
|
存储 安全 网络安全
浅谈网络安全的认识与学习规划
浅谈网络安全的认识与学习规划
63 6

热门文章

最新文章