参数要足够多,神经网络性能才会好,这是什么原理?

简介: 参数要足够多,神经网络性能才会好,这是什么原理?
要使神经网络能够更好地记忆数据,它们需要的参数比想象的要多得多。


传统上,只要参数的数量大于要满足的方程数量,我们就可以使用参数化模型来进行数据插值。但在深度学习中,一个令人困惑的现象是,模型训练使用的参数数量比这个经典理论所建议的要多得多。

深度学习中经常会出现各种大型的神经网络,神经网络是执行类人任务的领先 AI 系统。随着它们参数的增多,神经网络已经可以执行各种任务。按照数学的理论,神经网络无需很大就能执行任务,例如在直线 y=2x 中,确定这条直线无需很多参数。但是,现代神经网络的规模通常远远超出预测的要求,这种情况被称为过度参数化

在去年 12 月入选 NeurIPS 的一篇论文《A Universal Law of Robustness via Isoperimetry》中,来自微软研究院的 Sébastien Bubeck 和斯坦福大学的 Mark Sellke 为神经网络扩展成功背后的奥秘提供了新的解释。他们表明,神经网络必须比传统预期规模要大得多,才能避免某些基本问题。这一发现为一个持续了几十年的问题提供了一般性见解。


论文链接:https://arxiv.org/abs/2105.12806

Mark Sellke 和 Sébastien Bubeck

瑞士洛桑联邦理工学院的 Lenka Zdeborová 表示:他们的研究触及了计算机科学的核心。神经网络规模的标准来自对其如何记忆数据的分析。但要了解数据记忆,我们必须首先了解网络的作用。

神经网络中一项常见的任务是识别图像中的目标。为了创建这种网络,研究人员首先需要提供数据图像及其标注,然后对其进行训练以学习相关参数,之后模型能正确识别图像中的目标。换句话说,训练使网络记住数据。更值得注意的是,一旦网络记住了足够多的训练数据,它还能够以不同程度的准确率预测它从未见过的目标,这一过程称为泛化

网络的大小决定了它可以记住多少。这可以通过图形来理解,想象一下,将两个数据点放在 xy 平面上。你可以将这两个点与由两个参数描述的线连接起来。如果知道了这条线的一个点坐标以及一个原始数据点的 x 坐标,我们只需查看这条线(或使用参数)就可以计算出相应的 y 坐标。因为这条线已经记住了这两个数据点。

神经网络的原理与此类似。例如,图像由成百上千个值描述 —— 每个像素是一个值。这些值在数学上等价于高维空间中一个点的坐标,坐标的数量称为维度

一个古老的数学结果表明,要将 n 个数据点与曲线拟合,则需要一个具有 n 个参数的函数。当神经网络在 1980 年代首次作为一种有影响的力量出现时,研究者的想法与此相同,他们认为对于神经网络来说,应该只需要 n 个参数来拟合 n 个数据点 —— 无论数据的维度如何

德克萨斯大学奥斯汀分校的 Alex Dimakis 表示:「现在的研究改变了,我们经常创建参数数量超过训练样本数量的神经网络。这意味着相关研究文献书籍必须重写。」

Bubeck 和 Sellke 并没有打算重写任何东西。他们正在研究神经网络缺乏的另一种特性,称为稳健性(robustness),即网络处理微小变化的能力。例如,一个稳健性较差的网络可能已经学会了识别长颈鹿,但它会将一个几乎没有修改过的图片错误地标记为沙鼠,这就是网络稳健性带来的影响。

2019 年,当 Bubeck 及其同事意识到该问题与网络规模有关时,他们正在寻求证明有关该问题的定理。新研究表明过度参数化对于网络的稳健性是必要的。他们通过将数据点与曲线拟合所需的参数来做到这一点,该曲线具有与稳健性等效的数学属性:平滑度

为了看到这一点,再次想象平面中的一条曲线,其中 x 坐标代表单个像素的颜色,y 坐标代表图像标签。由于曲线是平滑的,如果你稍微修改像素的颜色,沿着曲线移动一小段距离,相应的预测只会发生很小的变化。另一方面,对于极度锯齿状的曲线,x 坐标(颜色)的微小变化会导致 y 坐标(图像标签)发生剧烈变化,原本识别为长颈鹿的图像可以变成沙鼠。

Bubeck 和 Sellke 的研究表明,平滑拟合高维数据点不仅需要 n 个参数,还需要 n × d 个参数,其中 d 是输入的维度(例如,784 表示 784 像素的图像)。换句话说,如果你想让神经网络稳健地记住它的训练数据,过度参数化不仅有帮助 —— 而是绝对有效。证明依赖于一个关于高维几何的奇特事实 —— 即放置在球体表面上的随机分布的点,几乎都彼此相距一个完整的直径。点与点之间的大间隔意味着用一条平滑曲线拟合它们需要许多额外的参数。

耶鲁大学的 Amin Karbasi 表示,「这个证明非常基础 —— 不需要繁重的数学运算,它说明了一些非常普遍的东西。」

该结果提供了一种新方法来理解为什么扩大神经网络规模的简单策略如此有效。与此同时,其他研究揭示了过度参数化带来帮助的更多原因,例如它可以提高训练过程的效率,以及网络的泛化能力。

虽然我们现在知道过度参数化对于稳健性是必要的,但尚不清楚稳健性对其他事物的必要性。通过将其与过度参数化联系起来,新的证据似乎表明稳健性可能比想象的更加重要,是一个可以带来许多好处的关键因素。

「稳健性似乎是泛化的先决条件,」Bubeck 说到。「如果你有一个系统,你只是稍微扰乱它,然后它就失控了,这会是怎样的系统?这是不可接受的,这是一个非常基础和基本的要求。」

参考内容:https://news.ycombinator.com/item?id=30288092https://www.quantamagazine.org/computer-scientists-prove-why-bigger-neural-networks-do-better-20220210/

相关文章
|
4天前
|
并行计算 安全 网络协议
探索未来网络:量子互联网的原理与应用
本文深入探讨了量子互联网的基本概念、技术原理及其潜在应用。通过对量子纠缠、量子叠加和量子隐形传态等核心概念的解释,文章展示了量子互联网如何利用量子力学特性来实现超高速、超高安全性的通信。此外,还讨论了量子互联网在金融、医疗、国防等领域的应用前景,以及当前面临的技术挑战和未来的发展方向。
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习的奥秘:探索神经网络的核心原理
本文将深入浅出地介绍深度学习的基本概念,包括神经网络的结构、工作原理以及训练过程。我们将从最初的感知机模型出发,逐步深入到现代复杂的深度网络架构,并探讨如何通过反向传播算法优化网络权重。文章旨在为初学者提供一个清晰的深度学习入门指南,同时为有经验的研究者回顾和巩固基础知识。
43 11
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习的奥秘:探索神经网络背后的原理与实践
【9月更文挑战第29天】本文将带你深入理解深度学习的核心概念,从基础理论到实际应用,逐步揭示其神秘面纱。我们将探讨神经网络的工作原理,并通过实际代码示例,展示如何构建和训练一个简单的深度学习模型。无论你是初学者还是有一定经验的开发者,这篇文章都将为你提供宝贵的知识和技能。
13 2
|
23天前
|
机器学习/深度学习 人工智能 自然语言处理
深度剖析深度神经网络(DNN):原理、实现与应用
本文详细介绍了深度神经网络(DNN)的基本原理、核心算法及其具体操作步骤。DNN作为一种重要的人工智能工具,通过多层次的特征学习和权重调节,实现了复杂任务的高效解决。文章通过理论讲解与代码演示相结合的方式,帮助读者理解DNN的工作机制及实际应用。
|
20天前
|
网络协议 Linux 应用服务中间件
Socket通信之网络协议基本原理
【9月更文挑战第14天】网络协议是机器间交流的约定格式,确保信息准确传达。主要模型有OSI七层与TCP/IP模型,通过分层简化复杂网络环境。IP地址全局定位设备,MAC地址则在本地网络中定位。网络分层后,数据包层层封装,经由不同层次协议处理,最终通过Socket系统调用在应用层解析和响应。
|
21天前
|
网络协议 网络架构 数据格式
TCP/IP基础:工作原理、协议栈与网络层
TCP/IP(传输控制协议/互联网协议)是互联网通信的基础协议,支持数据传输和网络连接。本文详细阐述了其工作原理、协议栈构成及网络层功能。TCP/IP采用客户端/服务器模型,通过四个层次——应用层、传输层、网络层和数据链路层,确保数据可靠传输。网络层负责IP寻址、路由选择、分片重组及数据包传输,是TCP/IP的核心部分。理解TCP/IP有助于深入掌握互联网底层机制。
100 2
|
2月前
|
Prometheus 监控 网络协议
在Linux中,如何监控网络服务的状态和性能?
在Linux中,如何监控网络服务的状态和性能?
|
2月前
|
存储 监控 安全
|
2月前
|
机器学习/深度学习 人工智能 TensorFlow
深度学习中的卷积神经网络(CNN)原理与实践
【8月更文挑战第31天】在人工智能的浪潮中,深度学习技术以其强大的数据处理能力脱颖而出。本文将深入浅出地探讨卷积神经网络(CNN)这一核心组件,解析其在图像识别等领域的应用原理,并通过Python代码示例带领读者步入实践。我们将从CNN的基本概念出发,逐步深入到架构设计,最后通过一个简易项目展示如何将理论应用于实际问题解决。无论你是深度学习的初学者还是希望深化理解的实践者,这篇文章都将为你提供有价值的洞见和指导。
|
2月前
|
网络协议 Linux 应用服务中间件
Socket通信之网络协议基本原理
【8月更文挑战第27天】网络协议定义了机器间通信的标准格式,确保信息准确无损地传输。主要分为两种模型:OSI七层模型与TCP/IP模型。
下一篇
无影云桌面