中国人工智能学会通讯——最优传输理论在机器学习中的应用 1.2 概率分布逼近-阿里云开发者社区

开发者社区> 人工智能> 正文

中国人工智能学会通讯——最优传输理论在机器学习中的应用 1.2 概率分布逼近

简介:

1.2 概率分布逼近

深度学习的方法强劲有力,几乎横扫计算机视觉的所有领域,很多人将其归 功 于 神 经 网 络 的 万 有 逼 近 能 力(universal approximation property):给定一个连续函数 或者映射,理论上可以用一个包含足够多神 经元的隐层 , 或者多层前馈网络逼近到任意 精度。对此,我们提出另外的观点:有些情 况下,神经网络逼近的不是函数或映射,而 是概率分布;更为重要的,逼近概率分布比 逼近映射要容易得多。更为精密的说法如下: 在理想情况下,即逼近误差为零的情形,如 果神经网络逼近一个映射,那么解空间只包 含一个映射;如果神经网络逼近一个概率分布, 那么解空间包含无穷多个映射,这些映射的差 别构成一个无穷维李群。这是我们更为看好逼 近概率分布,而非逼近映射的原因之一。

1. 概率生成模型

首先看最简单的(伪)随机数生成器。 我们选取适当的整数 a、b 、m ,计算序列

image

这个最优传输映射是某个凸函数的梯度 映射,这个凸函数被称为是 Brenier 势能函 数,满足蒙日-安培方程。如图 14 所示,我 们将怪兽曲面(第一帧和第四帧)保角地映 射到平面圆盘上面(第二帧),保角映射将 曲面的面积元映射到平面上,诱导了平面圆 盘上的一个概率测度。平面圆盘上也有均匀 概率分布(第三帧),从第二帧到第三帧的映射为最优传输映射。图 14 和 15 显示了基 于最优传输映射的曲面保面积参数化(Surface Area-preserving Parameterization)。

image
image

2. 映射极分解理论

image
image
image
image
image

3. 小结

通过以上讨论,我们看到如果用一个深 度学习的网络来逼近一个映射,解空间只有 一个映射;如果来逼近一个概率分布,则解 空间为无穷维的保体积微分同胚群。因此, 用深度学习网络来逼近一个概率分布要比逼 近一个映射函或者数容易得多。这或许可以 用来解释如下的现象:基于我们以往的经验, 用神经网络来求解非线性偏微分方程,要比 用神经网络做图像分类困难,因为前者需要 精确逼近泛函空间中的可逆映射,而后者需 要逼近图像空间中的概率分布。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章