以自动储备池学习机器实现高维场景预测,陈洛南/刘锐团队合作研究登Nature子刊

简介: 在实际应用中,仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了更大的挑战。所以,在本文中,研究者们提出了一种新型 ARNN 框架,它能够把高维空间数据映射到目标变量的未来时间信息,使得通过高维短序列时间序列数据的预测成为可能。

2020 年 9 月 11 日,国际学术期刊《Nature Communications》发表了中国科学院生物化学与细胞生物学研究所陈洛南(Luonan Chen)研究组与华南理工大学刘锐(Rui Liu)团队合著的新论文《Autoreservoir Computing for Multistep Ahead Prediction Based on the Spatiotemporal Information Transformation》,其中他们提出了基于空时信息变换的自动储备池方法及时间序列预测方法。该研究使得通过高维短序列时间序列数据的预测成为可能。

微信图片_20211204173920.jpg

论文链接https://www.nature.com/articles/s41467-020-18381-0

具体来讲,该成果建立了基于非线性动力学的空时信息变换理论与具有对称结构的自动储备池计算框架(Auto-Reservoir Neural Network, ARNN),基于 ARNN 的一对共轭空时信息变换方程组将高维空间信息转化成某个目标变量的时间信息,求解该方程组能获得目标变量的未来信息(如下图 1 所示)。

微信图片_20211204173925.jpg

图 1. 时空转换方程与自动储备池(储层)的计算框架。
该研究的参与者包括中国科学院陈洛南教授、华南理工大学刘锐教授和陈培博士,以及东京大学 Kazuyuki Aihara 教授。


ARNN 框架概述


在时间序列分析中,一般认为在获得低维系统的大量长时间序列数据后,系统的重构或者预测是可行的,这也是传统机器学习方法得以通过大量样本进行学习和训练的前提。

然而,在很多实际应用中,仅能采集到短时序列数据(如临床数据),系统也通常具有高度的时变性(如天气数据)。因此,仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了挑战。

该研究提出的 ARNN 框架直接将观测到的高维动态信息转化为储层(即),把高维空间数据映射到目标变量的未来时间信息,有如下的 ARNN 共轭方程(或图 1c 中方程的向量形式)

微信图片_20211204173930.jpg

其中 F 是非线性矢量函数,即多层神经网络,

微信图片_20211204173932.jpg

通过同时求解 ARNN 共轭方程 Eq. (1),可以得到未知的权重矩阵 A 和 B ,以及目标变量 y 的未来信息微信图片_20211204173937.jpg(如图 1b 中矩阵 Y 的红色部分),从而实现了精确、快速、多步地预测目标变量的未来信息。这里 y^t 可以是高维观测变量中的任何一个,如 微信图片_20211204173945.jpg;  L-1 是预测步长;D 是观测变量的个数;m 是观测数据点的个数。

有趣的是,该计算框架具有类 Autoencoder(信息流 X^t → Y^t X^t)的结构,即 ARNN 的信息流方向是:微信图片_20211204173949.jpg(ARNN 把微信图片_20211204173955.jpg编码成为 Y^t,再将 Y^t 解码成为 微信图片_20211204173957.jpg,如图 2 所示)。

其次,ARNN 共轭方程中的主方程可以写成传统的 Reservoir computing 形式

微信图片_20211204174006.jpg


其中
微信图片_20211204174010.jpg

号 “ ' ” 代表对向量的转置。
显然,所要预测的未来信息是通过同时求解空时信息转换方程 Eq. (1) 得到的,在满足微信图片_20211204174337.jpg和 D>L 的情况下,Eq. (1) 是一个超定方程组,可以通过一种最小二乘法对权重矩阵反复更新从而进行求解。


另外,由于多层神经网络的权重是随机给定并固定的,不需要对大量的参数进行训练,因此 ARNN 具有快速、耗费资源较少的优势。

微信图片_20211204174015.jpg

图 2. ARNN 具有类 Autoencoder 的框架


ARNN 框架的应用


ARNN 成功地应用于一系列高维的实际场景(如下图 3),成功地对气象指数进行了预测(包括风速、日照强度、温度、气压和台风风眼位置等),对与节律有关的基因表达值进行了预测、对实时记录的交通流量等进行了预测。

以下是 ARNN 框架预测交通流量的动态示意图:

微信图片_20211204174024.gif


以下是 ARNN 框架预测台风眼的动态示意图:

微信图片_20211204174028.gif


这些应用表明,ARNN 在数据受噪声干扰和系统时变的情况下,均能表现出良好的多步预测性能。

该研究从数学上解释了储层计算的动力学机理,这种 ARNN 变换等价地扩大了样本量,解决了传统机器学习算法面对单个短时序列数据时遇到的过拟合问题,因此,该计算方法在人工智能和机器学习等领域具有很大的实际应用潜力。

微信图片_20211204174032.jpg

图 3. 自动储备池方法(ARNN)在某些实际场景的预测应用

相关文章
|
8月前
|
机器学习/深度学习 算法 TensorFlow
解读【ICLR2020】多伦多大学:基于策略网络的探索模型规划
解读【ICLR2020】多伦多大学:基于策略网络的探索模型规划
|
10月前
|
存储 算法 量子技术
攻克量子计算不可靠难题,IBM用误差缓解得到有用计算,登Nature封面
攻克量子计算不可靠难题,IBM用误差缓解得到有用计算,登Nature封面
|
11月前
|
机器学习/深度学习 存储 自然语言处理
全方位分析大模型参数高效微调,清华研究登Nature子刊(1)
全方位分析大模型参数高效微调,清华研究登Nature子刊
667 0
|
11月前
|
存储 人工智能 自然语言处理
全方位分析大模型参数高效微调,清华研究登Nature子刊(3)
全方位分析大模型参数高效微调,清华研究登Nature子刊
163 0
|
11月前
|
自然语言处理 物联网 异构计算
全方位分析大模型参数高效微调,清华研究登Nature子刊(2)
全方位分析大模型参数高效微调,清华研究登Nature子刊
189 0
|
11月前
|
机器学习/深度学习 编解码 人工智能
斯坦福最新研究警告:别太迷信大模型涌现能力,那是度量选择的结果(1)
斯坦福最新研究警告:别太迷信大模型涌现能力,那是度量选择的结果
136 0
|
11月前
|
机器学习/深度学习
斯坦福最新研究警告:别太迷信大模型涌现能力,那是度量选择的结果(2)
斯坦福最新研究警告:别太迷信大模型涌现能力,那是度量选择的结果
116 0
|
11月前
|
机器学习/深度学习 传感器 算法
北大&北航团队揭示电子转移规律,深度学习定量预测96种元素在任意压力下的电负性
北大&北航团队揭示电子转移规律,深度学习定量预测96种元素在任意压力下的电负性
121 0
|
11月前
四年研究浓缩为几分钟实验,已故教授所提理论在太空得到证明
四年研究浓缩为几分钟实验,已故教授所提理论在太空得到证明
|
11月前
|
机器学习/深度学习 人工智能 运维
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架