顶会点赞!达摩院提出时序预测新模型

简介: 顶会点赞!达摩院提出时序预测新模型


给定一段时期的历史数据,AI要如何准确预测天气变化、电网负荷需求、交通拥堵状况?这其实是个时序预测问题。


达摩院近期提出一种长时序预测的新模型FEDformer,精准度比业界最优方法提升14.8%以上,模型已应用于电网负荷预测。相关论文已被机器学习顶会ICML2022收录。



ICML是机器学习领域的顶级学术会议,2022年度会议将于7月17日开幕。达摩院决策智能实验室的论文《FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting》关注了机器学习领域的经典问题:时序预测


时间序列预测(Time Series Forecasting),通俗理解就是利用历史数据预测未来信息。预测可分为短期、中期和长期预测,需要预测的时间窗口越长,预测难度就越大。这项技术在气象、电力、零售、交通等诸多行业有广泛应用。


传统时序预测模型的不足:

传统的时序预测模型一般采用LSTM、CNN等方法,精准度和使用场景都较为有限,无力处理大规模数据。


近些年来,研究人员开始将transformer模型引入长时序预测,但效果仍不够理想,简单地说该模型核心中的注意力机制模块对时序数据不够敏感。


达摩院长时序预测模型FEDformer的优势:

融合了transformer和经典信号处理方法:例如,利用傅立叶/小波变换将时域信息拆解为频域信息,让transformer更好地学习长时序中的依赖关系;FEDformer也能排除干扰,具有更好的鲁棒性。


专门设计周期趋势项分解模块:通过多次分解以降低输入输出的波动,进一步提升预测精度。


达摩院FEDformer模型架构


实验证明,达摩院新模型在电力、交通、气象等6个标准数据集上均取得最佳纪录,预测精准度较此前业界最佳模型分别提升14.8%(多变量)和22.6%(单变量)。


达摩院FEDformer模型在6个数据集均取得最佳纪录


值得一提的是,该模型已走出实验室,在区域电网完成概念验证,明显提升电网负荷预测准确率。


达摩院决策智能实验室旨在用数学建模来解决真实世界的复杂问题,其重点研究方向包括时序预测,今年刚在ICASSP'22 AIOps Challenge获得冠军。


如今,基于自研的时序预测、优化求解器MindOpt、安全强化学习等底层技术,达摩院打造的绿色能源AI,已逐步落地全国多家电网和发电企业,促进绿色能源消纳和电网安全运行。

目录
相关文章
|
机器学习/深度学习 人工智能 达摩院
[ICML'22] 阿里巴巴达摩院FEDformer,长程时序预测全面超越SOTA
本文介绍阿里巴巴达摩院决策智能实验室时间序列预测方向的最新(ICML 2022 accepted)工作:FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting论文链接:https://arxiv.org/abs/2201.12740代码链接:https://github.com/DA
2751 0
[ICML'22] 阿里巴巴达摩院FEDformer,长程时序预测全面超越SOTA
|
1月前
|
机器学习/深度学习 算法 数据可视化
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
本文探讨了在量化交易中结合时序特征和静态特征的混合建模方法。通过整合堆叠稀疏降噪自编码器(SSDA)和基于LSTM的自编码器(LSTM-AE),构建了一个能够全面捕捉市场动态特性的交易系统。SSDA通过降噪技术提取股票数据的鲁棒表示,LSTM-AE则专注于捕捉市场的时序依赖关系。系统采用A2C算法进行强化学习,通过多维度的奖励计算机制,实现了在可接受的风险水平下最大化收益的目标。实验结果显示,该系统在不同波动特征的股票上表现出差异化的适应能力,特别是在存在明确市场趋势的情况下,决策准确性较高。
74 5
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
|
3月前
|
人工智能 计算机视觉
时序=图像?无需微调,视觉MAE跨界比肩最强时序预测大模型
【10月更文挑战第15天】《VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters》提出了一种创新方法,通过将时序数据转化为图像,利用视觉掩码自编码器(MAE)进行自监督预训练,实现时序预测。该模型在未进行任何时序域适配的情况下,展现了出色的零样本预测性能,并且通过少量微调即可达到最先进水平。这一研究为时序预测领域带来了新希望,同时也引发了关于模型解释性和可信度的讨论。
145 1
|
8月前
|
存储 机器学习/深度学习 人工智能
AIGC训练场景下的存储特征研究
在今天这样以AIGC为代表的AI时代下,了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告,来看看AIGC对于存储有哪些具体的性能要求。
95150 8
|
4月前
|
机器学习/深度学习 传感器 数据采集
深度学习之时空预测
基于深度学习的时空预测是一种利用深度学习模型进行时间和空间数据的联合建模与预测的方法。时空预测模型被广泛应用于交通流量预测、气象预报、环境监测、城市计算、疫情传播等多个领域。
183 1
|
5月前
KDD 2024:零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT
【8月更文挑战第21天】UrbanGPT是由香港大学等机构研发的时空大模型,针对城市管理中因数据稀缺导致的预测难题,通过时空依赖编码器与指令调整技术实现强大的泛化能力。此模型能在多种城市任务中无需样本进行准确预测,如交通流量和人群流动等,有效应对数据收集难的问题,在零样本场景下表现优异,为智慧城市管理提供了有力工具。[论文](https://arxiv.org/abs/2403.00813)
76 1
|
5月前
|
网络安全 知识图谱 Python
自监督学习在多模态数据融合中的实践与探索
【8月更文第9天】自监督学习(Self-Supervised Learning, SSL)是一种机器学习方法,它利用未标记的数据来训练模型。这种方法通过设计预训练任务来挖掘数据的内在结构,无需人工标注,从而减少了对大量标注数据的依赖。当应用于多模态数据时,自监督学习可以帮助模型学习到不同模态之间的关联性,进而提高模型在特定下游任务上的表现。
358 7
|
5月前
|
机器学习/深度学习 存储 运维
ICML 2024:清华提出时间序列大模型:面向通用时序分析的生成式Transformer
【8月更文挑战第7天】在2024年ICML大会上,清华大学团队推出“时间序列大模型(LTSM)”——Timer,一种处理大规模时间序列数据的生成式Transformer。该模型通过预训练学习通用特征,支持多种任务如预测与异常检测。Timer采用统一的数据格式S3处理异构序列,并在数据稀缺场景下展现出色性能。尽管如此,模型泛化能力与计算效率仍有待优化。论文详情参见:https://arxiv.org/abs/2402.02368。
1289 4
|
5月前
|
机器学习/深度学习 运维 算法
【阿里天池-医学影像报告异常检测】3 机器学习模型训练及集成学习Baseline开源
本文介绍了一个基于XGBoost、LightGBM和逻辑回归的集成学习模型,用于医学影像报告异常检测任务,并公开了达到0.83+准确率的基线代码。
91 9
|
7月前
|
机器学习/深度学习 数据采集
开源多结构蛋白质预测大模型——Genie 2
【6月更文挑战第24天】Genie 2,一款开源的深度学习蛋白质设计模型,扩展了原始Genie的结构预测能力,通过创新架构和大规模数据增强处理更复杂多样的蛋白质结构。引入的多基序框架允许设计多功能蛋白质,提升无条件和有条件生成的性能。尽管面临数据质量、复杂相互作用处理及模型可解释性的挑战,Genie 2仍为蛋白质设计树立新标杆。[论文链接](https://arxiv.org/abs/2405.15489)
132 1

热门文章

最新文章