ATFNet:长时间序列预测的自适应时频集成网络

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: ATFNet是一款深度学习模型,融合时域和频域分析,捕捉时间序列数据的局部和全局依赖。通过扩展DFT调整周期性权重,结合注意力机制识别复杂关系,优化长期预测。模型包含T-Block(时域)、F-Block(频域)和权重调整机制。实验证明其在时间序列预测任务中表现优越,已发布于arXiv并提供源代码。

ATFNet是一个深度学习模型,它结合了时间域和频域模块来捕获时间序列数据中的依赖关系。引入了一种新的加权机制来调整周期性的权重,增强了离散傅立叶变换,并包括一个复杂关系识别的注意力机制,在长期时间序列预测中优于当前方法(每个模型都这么说)。这是4月发布在arxiv上的论文,还包含了源代码。

因为时间序列(TS)分析有两种类型的域,即时域和频域。时域是关于信号强度随时间的变化,而频域是从频率的角度分析时间序列。前者有助于理解局部依赖关系,后者有助于理解全局依赖关系。混合两者是一个很好的方法,但是需要确实可行的方法。

ATFNet框架旨在解决处理现实世界时间序列数据中不同周期特性混合的挑战。这种组合允许利用时域和频域表示的优势进行全面分析。

ATFNet主要由三个子部分组成:1)T-Block从时域捕获局部依赖性;2) F-Block从频域捕获全局依赖性。扩展DFT用于生成输入序列的频率对准频谱。3)主导谐波系列能量加权,根据输入序列的周期性,为f块和t块分配适当的权重。

扩展DFT

在ATFNet中使用扩展DFT来对齐输入序列的频谱,从而允许对时间序列数据进行更全面的分析。通过只考虑输出的前一半(去掉后一半)来降低成本。

完整级数的DFT基如下:

这样,我们就得到了一个长度为L + T的谱,它与完整序列的DFT谱一致。

F-Block

F-Block是基于原始注意力机制,并进行了一些修改。注意力机制虽然效率不高,但功能强大,经过修改可以使其更高效。

该块接受长度为l的单变量频谱F(扩展DFT的输出),然后用RevIN方法对F进行归一化以处理频域频谱

Complex-valued Spectrum 注意力的最终输出计算如下:

RevIN是一种具有可学习仿射变换的归一化和反归一化方法。可以应用于任何深度神经网络,是一种模型不可知的方法。

这里没有使用位置编码

T-Block

这部分负责数据的局部依赖性,也就是时域。数据被分成序列长度为p的N个小块。将每个小块嵌入到编码器中,使用线性投影来生成输出。这里也使用了RevIN。

Dominant Harmonic Series Energy Weighting

主导谐波系列能量加权机制根据输入序列的周期性动态调整时频域模块之间的权重

算法如下:

结果

论文给出的对比MSE是最低的

8个数据集的多变量长期时间序列预测结果。最好的结果用粗体表示,第二好的结果用下划线表示。这里只显示所有预测长度T∈{96,192,336,720}的平均结果

ETT数据集的单变量长期时间序列预测结果。ETT数据集具有目标特征“Oil Temperature”,将其作为单变量时间序列进行预测。最好的结果用粗体表示,第二好的结果用下划线表示。

消融研究结果。

总结

这篇论文介绍了一个名为ATFNet的创新框架,它结合了时间域模块和频率域模块来同时捕获时间序列数据中的局部和全局依赖性。研究者提出了一种新颖的机制“主导谐波系列能量加权”,根据输入时间序列的周期性动态调整两个模块之间的权重。在频率域模块中,通过扩展的离散傅立叶变换(Extended DFT)来解决离散频率不对齐的问题,并引入了复数谱注意力机制,用于探究不同频率组合之间的复杂关系。

论文地址

https://avoid.overfit.cn/post/f5c9d23299df48759b9bf7e58eab93cb

目录
相关文章
|
6天前
|
机器学习/深度学习 算法 机器人
基于自适应RBF神经网络滑模控制的机械臂轨迹跟踪仿真(Simulink仿真实现)
基于自适应RBF神经网络滑模控制的机械臂轨迹跟踪仿真(Simulink仿真实现)
|
3月前
|
机器学习/深度学习 算法 数据挖掘
基于WOA鲸鱼优化的BiLSTM双向长短期记忆网络序列预测算法matlab仿真,对比BiLSTM和LSTM
本项目基于MATLAB 2022a/2024b实现,采用WOA优化的BiLSTM算法进行序列预测。核心代码包含完整中文注释与操作视频,展示从参数优化到模型训练、预测的全流程。BiLSTM通过前向与后向LSTM结合,有效捕捉序列前后文信息,解决传统RNN梯度消失问题。WOA优化超参数(如学习率、隐藏层神经元数),提升模型性能,避免局部最优解。附有运行效果图预览,最终输出预测值与实际值对比,RMSE评估精度。适合研究时序数据分析与深度学习优化的开发者参考。
|
3月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于GA遗传优化的BiLSTM双向长短期记忆网络序列预测算法matlab仿真,对比BiLSTM和LSTM
本内容包含基于BiLSTM与遗传算法(GA)的算法介绍及实现。算法通过MATLAB2022a/2024b运行,核心为优化BiLSTM超参数(如学习率、神经元数量),提升预测性能。LSTM解决传统RNN梯度问题,捕捉长期依赖;BiLSTM双向处理序列,融合前文后文信息,适合全局信息任务。附完整代码(含注释)、操作视频及无水印运行效果预览,适用于股票预测等场景,精度优于单向LSTM。
|
7月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
256 3
RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
|
3月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化的BiLSTM双向长短期记忆网络序列预测算法matlab仿真,对比BiLSTM和LSTM
本项目基于MATLAB2022a/2024b开发,结合粒子群优化(PSO)算法与双向长短期记忆网络(BiLSTM),用于优化序列预测任务中的模型参数。核心代码包含详细中文注释及操作视频,涵盖遗传算法优化过程、BiLSTM网络构建、训练及预测分析。通过PSO优化BiLSTM的超参数(如学习率、隐藏层神经元数等),显著提升模型捕捉长期依赖关系和上下文信息的能力,适用于气象、交通流量等场景。附有运行效果图预览,展示适应度值、RMSE变化及预测结果对比,验证方法有效性。
|
3月前
|
机器学习/深度学习 数据采集 算法
基于GWO灰狼优化的BiLSTM双向长短期记忆网络序列预测算法matlab仿真,对比BiLSTM和LSTM
本项目基于Matlab 2022a/2024b实现,结合灰狼优化(GWO)算法与双向长短期记忆网络(BiLSTM),用于序列预测任务。核心代码包含数据预处理、种群初始化、适应度计算及参数优化等步骤,完整版附带中文注释与操作视频。BiLSTM通过前向与后向处理捕捉序列上下文信息,GWO优化其参数以提升预测性能。效果图展示训练过程与预测结果,适用于气象、交通等领域。LSTM结构含输入门、遗忘门与输出门,解决传统RNN梯度问题,而BiLSTM进一步增强上下文理解能力。
|
9月前
|
机器学习/深度学习 算法
基于改进遗传优化的BP神经网络金融序列预测算法matlab仿真
本项目基于改进遗传优化的BP神经网络进行金融序列预测,使用MATLAB2022A实现。通过对比BP神经网络、遗传优化BP神经网络及改进遗传优化BP神经网络,展示了三者的误差和预测曲线差异。核心程序结合遗传算法(GA)与BP神经网络,利用GA优化BP网络的初始权重和阈值,提高预测精度。GA通过选择、交叉、变异操作迭代优化,防止局部收敛,增强模型对金融市场复杂性和不确定性的适应能力。
339 80
|
6月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于模糊神经网络的金融序列预测算法matlab仿真
本程序为基于模糊神经网络的金融序列预测算法MATLAB仿真,适用于非线性、不确定性金融数据预测。通过MAD、RSI、KD等指标实现序列预测与收益分析,运行环境为MATLAB2022A,完整程序无水印。算法结合模糊逻辑与神经网络技术,包含输入层、模糊化层、规则层等结构,可有效处理金融市场中的复杂关系,助力投资者制定交易策略。
|
7月前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
275 9
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
|
8月前
|
运维 监控 Cloud Native
构建深度可观测、可集成的网络智能运维平台
本文介绍了构建深度可观测、可集成的网络智能运维平台(简称NIS),旨在解决云上网络运维面临的复杂挑战。内容涵盖云网络运维的三大难题、打造云原生AIOps工具集的解决思路、可观测性对业务稳定的重要性,以及产品发布的亮点,包括流量分析NPM、网络架构巡检和自动化运维OpenAPI,助力客户实现自助运维与优化。