以自动储备池学习机器实现高维场景预测,陈洛南/刘锐团队合作研究登Nature子刊

简介: 在实际应用中,仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了更大的挑战。所以,在本文中,研究者们提出了一种新型 ARNN 框架,它能够把高维空间数据映射到目标变量的未来时间信息,使得通过高维短序列时间序列数据的预测成为可能。

2020 年 9 月 11 日,国际学术期刊《Nature Communications》发表了中国科学院生物化学与细胞生物学研究所陈洛南(Luonan Chen)研究组与华南理工大学刘锐(Rui Liu)团队合著的新论文《Autoreservoir Computing for Multistep Ahead Prediction Based on the Spatiotemporal Information Transformation》,其中他们提出了基于空时信息变换的自动储备池方法及时间序列预测方法。该研究使得通过高维短序列时间序列数据的预测成为可能。

微信图片_20211204173920.jpg

论文链接https://www.nature.com/articles/s41467-020-18381-0

具体来讲,该成果建立了基于非线性动力学的空时信息变换理论与具有对称结构的自动储备池计算框架(Auto-Reservoir Neural Network, ARNN),基于 ARNN 的一对共轭空时信息变换方程组将高维空间信息转化成某个目标变量的时间信息,求解该方程组能获得目标变量的未来信息(如下图 1 所示)。

微信图片_20211204173925.jpg

图 1. 时空转换方程与自动储备池(储层)的计算框架。
该研究的参与者包括中国科学院陈洛南教授、华南理工大学刘锐教授和陈培博士,以及东京大学 Kazuyuki Aihara 教授。


ARNN 框架概述


在时间序列分析中,一般认为在获得低维系统的大量长时间序列数据后,系统的重构或者预测是可行的,这也是传统机器学习方法得以通过大量样本进行学习和训练的前提。

然而,在很多实际应用中,仅能采集到短时序列数据(如临床数据),系统也通常具有高度的时变性(如天气数据)。因此,仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了挑战。

该研究提出的 ARNN 框架直接将观测到的高维动态信息转化为储层(即),把高维空间数据映射到目标变量的未来时间信息,有如下的 ARNN 共轭方程(或图 1c 中方程的向量形式)

微信图片_20211204173930.jpg

其中 F 是非线性矢量函数,即多层神经网络,

微信图片_20211204173932.jpg

通过同时求解 ARNN 共轭方程 Eq. (1),可以得到未知的权重矩阵 A 和 B ,以及目标变量 y 的未来信息微信图片_20211204173937.jpg(如图 1b 中矩阵 Y 的红色部分),从而实现了精确、快速、多步地预测目标变量的未来信息。这里 y^t 可以是高维观测变量中的任何一个,如 微信图片_20211204173945.jpg;  L-1 是预测步长;D 是观测变量的个数;m 是观测数据点的个数。

有趣的是,该计算框架具有类 Autoencoder(信息流 X^t → Y^t X^t)的结构,即 ARNN 的信息流方向是:微信图片_20211204173949.jpg(ARNN 把微信图片_20211204173955.jpg编码成为 Y^t,再将 Y^t 解码成为 微信图片_20211204173957.jpg,如图 2 所示)。

其次,ARNN 共轭方程中的主方程可以写成传统的 Reservoir computing 形式

微信图片_20211204174006.jpg


其中
微信图片_20211204174010.jpg

号 “ ' ” 代表对向量的转置。
显然,所要预测的未来信息是通过同时求解空时信息转换方程 Eq. (1) 得到的,在满足微信图片_20211204174337.jpg和 D>L 的情况下,Eq. (1) 是一个超定方程组,可以通过一种最小二乘法对权重矩阵反复更新从而进行求解。


另外,由于多层神经网络的权重是随机给定并固定的,不需要对大量的参数进行训练,因此 ARNN 具有快速、耗费资源较少的优势。

微信图片_20211204174015.jpg

图 2. ARNN 具有类 Autoencoder 的框架


ARNN 框架的应用


ARNN 成功地应用于一系列高维的实际场景(如下图 3),成功地对气象指数进行了预测(包括风速、日照强度、温度、气压和台风风眼位置等),对与节律有关的基因表达值进行了预测、对实时记录的交通流量等进行了预测。

以下是 ARNN 框架预测交通流量的动态示意图:

微信图片_20211204174024.gif


以下是 ARNN 框架预测台风眼的动态示意图:

微信图片_20211204174028.gif


这些应用表明,ARNN 在数据受噪声干扰和系统时变的情况下,均能表现出良好的多步预测性能。

该研究从数学上解释了储层计算的动力学机理,这种 ARNN 变换等价地扩大了样本量,解决了传统机器学习算法面对单个短时序列数据时遇到的过拟合问题,因此,该计算方法在人工智能和机器学习等领域具有很大的实际应用潜力。

微信图片_20211204174032.jpg

图 3. 自动储备池方法(ARNN)在某些实际场景的预测应用

相关文章
|
4月前
|
人工智能 JSON Serverless
【AI 冰封挑战】搭档函数计算,“冰”封你的夏日记忆
夏日炎炎,别让高温打败你的创意,立即体验 ComfyUI 自制冰冻滤镜!无需繁琐的后期技巧,三步开启一段清凉无比的视觉探险。参与实验并上传作品即可获得运动无线蓝牙耳机,限量 800 个,先到先得!
8316 11
|
4月前
|
机器学习/深度学习 算法 Python
【绝技揭秘】Andrew Ng 机器学习课程第十周:解锁梯度下降的神秘力量,带你飞速征服数据山峰!
【8月更文挑战第16天】Andrew Ng 的机器学习课程是学习该领域的经典资源。第十周聚焦于优化梯度下降算法以提升效率。课程涵盖不同类型的梯度下降(批量、随机及小批量)及其应用场景,介绍如何选择合适的批量大小和学习率调整策略。还介绍了动量法、RMSProp 和 Adam 优化器等高级技巧,这些方法能有效加速收敛并改善模型性能。通过实践案例展示如何使用 Python 和 NumPy 实现小批量梯度下降。
44 1
|
4月前
|
机器学习/深度学习 算法 Python
【2023 华数杯全国大学生数学建模竞赛】 A题 隔热材料的结构优化控制研究 问题分析、模型建立及参考文献
本文提供了2023年华数杯全国大学生数学建模竞赛A题的详细分析、数学模型建立及参考文献,聚焦于隔热材料的结构优化控制研究,旨在解决单根隔热材料纤维的热导率测量难题,并探讨如何通过优化织物编织结构来提升隔热性能。
38 0
【2023 华数杯全国大学生数学建模竞赛】 A题 隔热材料的结构优化控制研究 问题分析、模型建立及参考文献
|
5月前
|
传感器 自动驾驶 算法
自动驾驶理论新突破登Nature子刊!清华、密歇根联合提出三条技术路线,剑指稀疏度灾难
【7月更文挑战第6天】清华大学与密歇根大学研究团队在Nature子刊发表突破性成果,针对自动驾驶的“稀疏度灾难”提出三条技术路线:数据驱动、模型驱动及混合驱动,旨在提升系统应对罕见场景的能力,确保安全性和鲁棒性。这一进展为解决自动驾驶在复杂环境中的决策难题开辟了新途径。[论文链接](https://doi.org/10.1038/s41467-024-49194-0)**
53 3
|
机器学习/深度学习 算法 TensorFlow
解读【ICLR2020】多伦多大学:基于策略网络的探索模型规划
解读【ICLR2020】多伦多大学:基于策略网络的探索模型规划
116 0
|
数据采集 机器学习/深度学习 人工智能
教科书级数据is all you need:1.3B小模型逆袭大模型的秘密
教科书级数据is all you need:1.3B小模型逆袭大模型的秘密
265 0
|
存储 算法 量子技术
攻克量子计算不可靠难题,IBM用误差缓解得到有用计算,登Nature封面
攻克量子计算不可靠难题,IBM用误差缓解得到有用计算,登Nature封面
122 0
|
机器学习/深度学习 传感器 算法
北大&北航团队揭示电子转移规律,深度学习定量预测96种元素在任意压力下的电负性
北大&北航团队揭示电子转移规律,深度学习定量预测96种元素在任意压力下的电负性
171 0
|
机器学习/深度学习
斯坦福最新研究警告:别太迷信大模型涌现能力,那是度量选择的结果(2)
斯坦福最新研究警告:别太迷信大模型涌现能力,那是度量选择的结果
176 0
|
机器学习/深度学习 编解码 人工智能
斯坦福最新研究警告:别太迷信大模型涌现能力,那是度量选择的结果(1)
斯坦福最新研究警告:别太迷信大模型涌现能力,那是度量选择的结果
182 0