以自动储备池学习机器实现高维场景预测,陈洛南/刘锐团队合作研究登Nature子刊-阿里云开发者社区

开发者社区> 开发者小助手-bz8> 正文

以自动储备池学习机器实现高维场景预测,陈洛南/刘锐团队合作研究登Nature子刊

简介: 在实际应用中,仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了更大的挑战。所以,在本文中,研究者们提出了一种新型 ARNN 框架,它能够把高维空间数据映射到目标变量的未来时间信息,使得通过高维短序列时间序列数据的预测成为可能。
+关注继续查看

2020 年 9 月 11 日,国际学术期刊《Nature Communications》发表了中国科学院生物化学与细胞生物学研究所陈洛南(Luonan Chen)研究组与华南理工大学刘锐(Rui Liu)团队合著的新论文《Autoreservoir Computing for Multistep Ahead Prediction Based on the Spatiotemporal Information Transformation》,其中他们提出了基于空时信息变换的自动储备池方法及时间序列预测方法。该研究使得通过高维短序列时间序列数据的预测成为可能。

微信图片_20211204173920.jpg

论文链接https://www.nature.com/articles/s41467-020-18381-0

具体来讲,该成果建立了基于非线性动力学的空时信息变换理论与具有对称结构的自动储备池计算框架(Auto-Reservoir Neural Network, ARNN),基于 ARNN 的一对共轭空时信息变换方程组将高维空间信息转化成某个目标变量的时间信息,求解该方程组能获得目标变量的未来信息(如下图 1 所示)。

微信图片_20211204173925.jpg

图 1. 时空转换方程与自动储备池(储层)的计算框架。
该研究的参与者包括中国科学院陈洛南教授、华南理工大学刘锐教授和陈培博士,以及东京大学 Kazuyuki Aihara 教授。


ARNN 框架概述


在时间序列分析中,一般认为在获得低维系统的大量长时间序列数据后,系统的重构或者预测是可行的,这也是传统机器学习方法得以通过大量样本进行学习和训练的前提。

然而,在很多实际应用中,仅能采集到短时序列数据(如临床数据),系统也通常具有高度的时变性(如天气数据)。因此,仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了挑战。

该研究提出的 ARNN 框架直接将观测到的高维动态信息转化为储层(即),把高维空间数据映射到目标变量的未来时间信息,有如下的 ARNN 共轭方程(或图 1c 中方程的向量形式)

微信图片_20211204173930.jpg

其中 F 是非线性矢量函数,即多层神经网络,

微信图片_20211204173932.jpg

通过同时求解 ARNN 共轭方程 Eq. (1),可以得到未知的权重矩阵 A 和 B ,以及目标变量 y 的未来信息微信图片_20211204173937.jpg(如图 1b 中矩阵 Y 的红色部分),从而实现了精确、快速、多步地预测目标变量的未来信息。这里 y^t 可以是高维观测变量中的任何一个,如 微信图片_20211204173945.jpg;  L-1 是预测步长;D 是观测变量的个数;m 是观测数据点的个数。

有趣的是,该计算框架具有类 Autoencoder(信息流 X^t → Y^t →  X^t )的结构,即 ARNN 的信息流方向是:微信图片_20211204173949.jpg(ARNN 把微信图片_20211204173955.jpg编码成为 Y^t ,再将 Y^t 解码成为 微信图片_20211204173957.jpg,如图 2 所示)。

其次,ARNN 共轭方程中的主方程可以写成传统的 Reservoir computing 形式

微信图片_20211204174006.jpg


其中
微信图片_20211204174010.jpg

号 “ ” 代表对向量的转置。
显然,所要预测的未来信息是通过同时求解空时信息转换方程 Eq. (1) 得到的,在满足微信图片_20211204174337.jpg和 D>L 的情况下,Eq. (1) 是一个超定方程组,可以通过一种最小二乘法对权重矩阵反复更新从而进行求解。


另外,由于多层神经网络的权重是随机给定并固定的,不需要对大量的参数进行训练,因此 ARNN 具有快速、耗费资源较少的优势。

微信图片_20211204174015.jpg

图 2. ARNN 具有类 Autoencoder 的框架


ARNN 框架的应用


ARNN 成功地应用于一系列高维的实际场景(如下图 3),成功地对气象指数进行了预测(包括风速、日照强度、温度、气压和台风风眼位置等),对与节律有关的基因表达值进行了预测、对实时记录的交通流量等进行了预测。

以下是 ARNN 框架预测交通流量的动态示意图:

微信图片_20211204174024.gif


以下是 ARNN 框架预测台风眼的动态示意图:

微信图片_20211204174028.gif


这些应用表明,ARNN 在数据受噪声干扰和系统时变的情况下,均能表现出良好的多步预测性能。

该研究从数学上解释了储层计算的动力学机理,这种 ARNN 变换等价地扩大了样本量,解决了传统机器学习算法面对单个短时序列数据时遇到的过拟合问题,因此,该计算方法在人工智能和机器学习等领域具有很大的实际应用潜力。

微信图片_20211204174032.jpg

图 3. 自动储备池方法(ARNN)在某些实际场景的预测应用

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
用图像混合学习更细粒度的特征表示,CMU邢波团队新论文入选AAAI 2022
这是一篇来自卡耐基梅隆大学和加州伯克利大学 Eric Xing 和 Trevor Darrell 团队联合出品的论文,探究如何在自监督双子结构中通过图像混合学习更加细粒度的特征表示,并入选 AAAI 2022。
14 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9485 0
部署在SAP Cloud Platform CloudFoundry环境的应用如何消费SAP Leonardo机器学习API
问题症状:我在CloudFoundry环境的Service Market place里根本找不到Leonardo ML foundation这组服务。 解决方案: 进入global Account->Entitlements->Subaccount Assignments, 点击Configur...
744 0
研发团队GIT开发流程新人学习指南
本文定位于为使用GIT标准分支开发流程的开发团队新人提供一份参考指南,其中的内容都是我们公司在研发团队初创时所遵循的一些开发流程标准,经过近一年的实践,虽说还有很多不足,但是随着团队经验的丰富和人员的扩张,我会适时地更新本文,分享我们在使用GIT开发流程中遇到的问题和解决方案。
6367 0
阿里云容器服务团队实践——Alluxio优化数倍提升云上Kubernetes深度学习训练性能
近些年,以深度学习为代表的人工智能技术取得了飞速的发展,正落地应用于各行各业。越来越多的用户在云上构建人工智能训练平台,利用云平台的弹性计算能力满足高速增长的AI业务模型训练方面的需求,然而这种“本地存储+云上训练”的训练模式加剧了计算存储分离架构带来的远程数据访问的性能影响。
3474 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
12034 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13168 0
1653
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载