顶会点赞!达摩院提出时序预测新模型

简介: 顶会点赞!达摩院提出时序预测新模型


给定一段时期的历史数据,AI要如何准确预测天气变化、电网负荷需求、交通拥堵状况?这其实是个时序预测问题。


达摩院近期提出一种长时序预测的新模型FEDformer,精准度比业界最优方法提升14.8%以上,模型已应用于电网负荷预测。相关论文已被机器学习顶会ICML2022收录。



ICML是机器学习领域的顶级学术会议,2022年度会议将于7月17日开幕。达摩院决策智能实验室的论文《FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting》关注了机器学习领域的经典问题:时序预测


时间序列预测(Time Series Forecasting),通俗理解就是利用历史数据预测未来信息。预测可分为短期、中期和长期预测,需要预测的时间窗口越长,预测难度就越大。这项技术在气象、电力、零售、交通等诸多行业有广泛应用。


传统时序预测模型的不足:

传统的时序预测模型一般采用LSTM、CNN等方法,精准度和使用场景都较为有限,无力处理大规模数据。


近些年来,研究人员开始将transformer模型引入长时序预测,但效果仍不够理想,简单地说该模型核心中的注意力机制模块对时序数据不够敏感。


达摩院长时序预测模型FEDformer的优势:

融合了transformer和经典信号处理方法:例如,利用傅立叶/小波变换将时域信息拆解为频域信息,让transformer更好地学习长时序中的依赖关系;FEDformer也能排除干扰,具有更好的鲁棒性。


专门设计周期趋势项分解模块:通过多次分解以降低输入输出的波动,进一步提升预测精度。


达摩院FEDformer模型架构


实验证明,达摩院新模型在电力、交通、气象等6个标准数据集上均取得最佳纪录,预测精准度较此前业界最佳模型分别提升14.8%(多变量)和22.6%(单变量)。


达摩院FEDformer模型在6个数据集均取得最佳纪录


值得一提的是,该模型已走出实验室,在区域电网完成概念验证,明显提升电网负荷预测准确率。


达摩院决策智能实验室旨在用数学建模来解决真实世界的复杂问题,其重点研究方向包括时序预测,今年刚在ICASSP'22 AIOps Challenge获得冠军。


如今,基于自研的时序预测、优化求解器MindOpt、安全强化学习等底层技术,达摩院打造的绿色能源AI,已逐步落地全国多家电网和发电企业,促进绿色能源消纳和电网安全运行。

目录
相关文章
|
6月前
|
机器学习/深度学习 算法 安全
【PSO-LSTM】基于PSO优化LSTM网络的电力负荷预测(Python代码实现)
【PSO-LSTM】基于PSO优化LSTM网络的电力负荷预测(Python代码实现)
330 0
|
自然语言处理 异构计算
ICLR 2024 Poster:精确且高效的大语言模型低比特量化方法 QLLM
【2月更文挑战第24天】ICLR 2024 Poster:精确且高效的大语言模型低比特量化方法 QLLM
544 3
ICLR 2024 Poster:精确且高效的大语言模型低比特量化方法 QLLM
|
缓存 数据挖掘 计算机视觉
砥砺的前行|基于labview的机器视觉图像处理|NI Vision Assisant(五)——Grayscale(灰度图) 功能
砥砺的前行|基于labview的机器视觉图像处理|NI Vision Assisant(五)——Grayscale(灰度图) 功能
971 0
砥砺的前行|基于labview的机器视觉图像处理|NI Vision Assisant(五)——Grayscale(灰度图) 功能
|
机器学习/深度学习 测试技术
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
时序数据在动态系统和应用中至关重要,但其复杂性使得分析极具挑战。Time-MoE是一种基于稀疏混合专家设计的可扩展架构,旨在预训练更大、更强大的时序预测模型,同时降低推理成本。它在新数据集Time-300B上训练,包含超过3000亿个时间点,跨9个领域,显著提升了预测精度,成为解决时序预测问题的先进方案。
880 9
|
5月前
|
数据格式
表面肌电信号(sEMG)完整处理流程 MATLAB
表面肌电信号(sEMG)完整处理流程 MATLAB
|
机器学习/深度学习 编解码 vr&ar
NeurIPS 2024最佳论文,扩散模型的创新替代:基于多尺度预测的视觉自回归架构
本文详细解读NeurIPS 2024最佳论文《视觉自回归建模:基于下一尺度预测的可扩展图像生成》。该研究提出VAR模型,通过多尺度token图和VAR Transformer结构,实现高效、高质量的图像生成,解决了传统自回归模型在二维结构信息、泛化能力和计算效率上的局限。实验表明,VAR在图像质量和速度上超越现有扩散模型,并展示出良好的扩展性和零样本泛化能力。未来研究将聚焦于文本引导生成和视频生成等方向。
1196 8
NeurIPS 2024最佳论文,扩散模型的创新替代:基于多尺度预测的视觉自回归架构
|
机器学习/深度学习 存储 算法
《LSTM与ESN:动态系统数据处理的两大“神器”对决》
长短期记忆网络(LSTM)和回声状态网络(ESN)是动态系统数据处理中的两种关键技术。LSTM通过复杂的门控机制捕捉长期依赖,适用于数据量充足、对预测精度要求高的任务;而ESN结构简单,训练高效,擅长处理实时数据和不确定性较强的场景,具有较好的泛化能力和可解释性。两者各有优势,适用于不同场景。
347 3
|
PyTorch 测试技术 算法框架/工具
Python中Thop库的常见用法和代码示例
肆十二在B站分享了关于THOP(Torch-OpCounter)的实战教学视频。THOP是一个用于计算PyTorch模型操作数和计算量的工具,帮助开发者评估模型复杂度和性能。本文介绍了THOP的安装、使用方法及基本用例,包括如何计算模型的FLOPs和参数量。
1678 0
|
机器学习/深度学习 人工智能 算法
【机器学习】平均绝对误差 (MAE) 与均方误差 (MSE) 有什么区别?
【5月更文挑战第17天】【机器学习】平均绝对误差 (MAE) 与均方误差 (MSE) 有什么区别?
|
机器学习/深度学习 算法 数据挖掘
如何评估模型性能以进行模型选择?
【5月更文挑战第4天】如何评估模型性能以进行模型选择?
566 5