顶会点赞!达摩院提出时序预测新模型

简介: 顶会点赞!达摩院提出时序预测新模型


给定一段时期的历史数据,AI要如何准确预测天气变化、电网负荷需求、交通拥堵状况?这其实是个时序预测问题。


达摩院近期提出一种长时序预测的新模型FEDformer,精准度比业界最优方法提升14.8%以上,模型已应用于电网负荷预测。相关论文已被机器学习顶会ICML2022收录。



ICML是机器学习领域的顶级学术会议,2022年度会议将于7月17日开幕。达摩院决策智能实验室的论文《FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting》关注了机器学习领域的经典问题:时序预测


时间序列预测(Time Series Forecasting),通俗理解就是利用历史数据预测未来信息。预测可分为短期、中期和长期预测,需要预测的时间窗口越长,预测难度就越大。这项技术在气象、电力、零售、交通等诸多行业有广泛应用。


传统时序预测模型的不足:

传统的时序预测模型一般采用LSTM、CNN等方法,精准度和使用场景都较为有限,无力处理大规模数据。


近些年来,研究人员开始将transformer模型引入长时序预测,但效果仍不够理想,简单地说该模型核心中的注意力机制模块对时序数据不够敏感。


达摩院长时序预测模型FEDformer的优势:

融合了transformer和经典信号处理方法:例如,利用傅立叶/小波变换将时域信息拆解为频域信息,让transformer更好地学习长时序中的依赖关系;FEDformer也能排除干扰,具有更好的鲁棒性。


专门设计周期趋势项分解模块:通过多次分解以降低输入输出的波动,进一步提升预测精度。


达摩院FEDformer模型架构


实验证明,达摩院新模型在电力、交通、气象等6个标准数据集上均取得最佳纪录,预测精准度较此前业界最佳模型分别提升14.8%(多变量)和22.6%(单变量)。


达摩院FEDformer模型在6个数据集均取得最佳纪录


值得一提的是,该模型已走出实验室,在区域电网完成概念验证,明显提升电网负荷预测准确率。


达摩院决策智能实验室旨在用数学建模来解决真实世界的复杂问题,其重点研究方向包括时序预测,今年刚在ICASSP'22 AIOps Challenge获得冠军。


如今,基于自研的时序预测、优化求解器MindOpt、安全强化学习等底层技术,达摩院打造的绿色能源AI,已逐步落地全国多家电网和发电企业,促进绿色能源消纳和电网安全运行。

目录
相关文章
|
7月前
|
机器学习/深度学习 人工智能 计算机视觉
多模态模型可能是大模型的终局
多模态模型可能是大模型的终局
|
机器学习/深度学习 人工智能 达摩院
[ICML'22] 阿里巴巴达摩院FEDformer,长程时序预测全面超越SOTA
本文介绍阿里巴巴达摩院决策智能实验室时间序列预测方向的最新(ICML 2022 accepted)工作:FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting论文链接:https://arxiv.org/abs/2201.12740代码链接:https://github.com/DA
2664 0
[ICML'22] 阿里巴巴达摩院FEDformer,长程时序预测全面超越SOTA
|
机器学习/深度学习 算法 搜索推荐
阿里云机器学习平台PAI与香港大学合作论文入选INFOCOM 2022,有效减少大规模神经网络训练时间
近日,阿里云机器学习平台 PAI 与香港大学吴川教授团队合作的论文”Efficient Pipeline Planning for Expedited Distributed DNN Training”入选INFOCOM(IEEE International Conference on Computer Communications) 2022,论文提出了一个支持任意网络拓扑的同步流水线并行训练算法,有效减少大规模神经网络的训练时间。
阿里云机器学习平台PAI与香港大学合作论文入选INFOCOM 2022,有效减少大规模神经网络训练时间
|
3月前
|
机器学习/深度学习 算法 数据可视化
机器学习模型中特征贡献度分析:预测贡献与错误贡献
本文将探讨特征重要性与特征有效性之间的关系,并引入两个关键概念:预测贡献度和错误贡献度。
390 3
|
2月前
|
人工智能 计算机视觉
时序=图像?无需微调,视觉MAE跨界比肩最强时序预测大模型
【10月更文挑战第15天】《VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters》提出了一种创新方法,通过将时序数据转化为图像,利用视觉掩码自编码器(MAE)进行自监督预训练,实现时序预测。该模型在未进行任何时序域适配的情况下,展现了出色的零样本预测性能,并且通过少量微调即可达到最先进水平。这一研究为时序预测领域带来了新希望,同时也引发了关于模型解释性和可信度的讨论。
100 1
|
7月前
|
存储 机器学习/深度学习 人工智能
AIGC训练场景下的存储特征研究
在今天这样以AIGC为代表的AI时代下,了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告,来看看AIGC对于存储有哪些具体的性能要求。
95088 8
|
4月前
KDD 2024:零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT
【8月更文挑战第21天】UrbanGPT是由香港大学等机构研发的时空大模型,针对城市管理中因数据稀缺导致的预测难题,通过时空依赖编码器与指令调整技术实现强大的泛化能力。此模型能在多种城市任务中无需样本进行准确预测,如交通流量和人群流动等,有效应对数据收集难的问题,在零样本场景下表现优异,为智慧城市管理提供了有力工具。[论文](https://arxiv.org/abs/2403.00813)
65 1
|
4月前
|
机器学习/深度学习 存储 运维
ICML 2024:清华提出时间序列大模型:面向通用时序分析的生成式Transformer
【8月更文挑战第7天】在2024年ICML大会上,清华大学团队推出“时间序列大模型(LTSM)”——Timer,一种处理大规模时间序列数据的生成式Transformer。该模型通过预训练学习通用特征,支持多种任务如预测与异常检测。Timer采用统一的数据格式S3处理异构序列,并在数据稀缺场景下展现出色性能。尽管如此,模型泛化能力与计算效率仍有待优化。论文详情参见:https://arxiv.org/abs/2402.02368。
1104 4
|
6月前
|
机器学习/深度学习 人工智能 算法
【机器学习】RLHF:在线方法与离线算法在大模型语言模型校准中的博弈
【机器学习】RLHF:在线方法与离线算法在大模型语言模型校准中的博弈
361 6
|
7月前
|
自然语言处理
论文推荐:用多词元预测法提高模型效率与速度
《Better & Faster Large Language Models via Multi-token Prediction》论文提出了一种多词元预测框架,改善了大型语言模型(LLMs)的样本效率和推理速度。该方法通过一次预测多个词元,而非单个词元,提高了模型在编程和自然语言任务中的性能。实验显示,多词元预测在HumanEval和MBPP任务上性能提升,推理速度最高可提升3倍。此外,自我推测解码技术进一步优化了解码效率。尽管在小模型中效果不明显,但该方法为大模型训练和未来研究开辟了新途径。
76 0