ATFNet:长时间序列预测的自适应时频集成网络

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: ATFNet是一款深度学习模型,融合时域和频域分析,捕捉时间序列数据的局部和全局依赖。通过扩展DFT调整周期性权重,结合注意力机制识别复杂关系,优化长期预测。模型包含T-Block(时域)、F-Block(频域)和权重调整机制。实验证明其在时间序列预测任务中表现优越,已发布于arXiv并提供源代码。

ATFNet是一个深度学习模型,它结合了时间域和频域模块来捕获时间序列数据中的依赖关系。引入了一种新的加权机制来调整周期性的权重,增强了离散傅立叶变换,并包括一个复杂关系识别的注意力机制,在长期时间序列预测中优于当前方法(每个模型都这么说)。这是4月发布在arxiv上的论文,还包含了源代码。

因为时间序列(TS)分析有两种类型的域,即时域和频域。时域是关于信号强度随时间的变化,而频域是从频率的角度分析时间序列。前者有助于理解局部依赖关系,后者有助于理解全局依赖关系。混合两者是一个很好的方法,但是需要确实可行的方法。

ATFNet框架旨在解决处理现实世界时间序列数据中不同周期特性混合的挑战。这种组合允许利用时域和频域表示的优势进行全面分析。

ATFNet主要由三个子部分组成:1)T-Block从时域捕获局部依赖性;2) F-Block从频域捕获全局依赖性。扩展DFT用于生成输入序列的频率对准频谱。3)主导谐波系列能量加权,根据输入序列的周期性,为f块和t块分配适当的权重。

扩展DFT

在ATFNet中使用扩展DFT来对齐输入序列的频谱,从而允许对时间序列数据进行更全面的分析。通过只考虑输出的前一半(去掉后一半)来降低成本。

完整级数的DFT基如下:

这样,我们就得到了一个长度为L + T的谱,它与完整序列的DFT谱一致。

F-Block

F-Block是基于原始注意力机制,并进行了一些修改。注意力机制虽然效率不高,但功能强大,经过修改可以使其更高效。

该块接受长度为l的单变量频谱F(扩展DFT的输出),然后用RevIN方法对F进行归一化以处理频域频谱

Complex-valued Spectrum 注意力的最终输出计算如下:

RevIN是一种具有可学习仿射变换的归一化和反归一化方法。可以应用于任何深度神经网络,是一种模型不可知的方法。

这里没有使用位置编码

T-Block

这部分负责数据的局部依赖性,也就是时域。数据被分成序列长度为p的N个小块。将每个小块嵌入到编码器中,使用线性投影来生成输出。这里也使用了RevIN。

Dominant Harmonic Series Energy Weighting

主导谐波系列能量加权机制根据输入序列的周期性动态调整时频域模块之间的权重

算法如下:

结果

论文给出的对比MSE是最低的

8个数据集的多变量长期时间序列预测结果。最好的结果用粗体表示,第二好的结果用下划线表示。这里只显示所有预测长度T∈{96,192,336,720}的平均结果

ETT数据集的单变量长期时间序列预测结果。ETT数据集具有目标特征“Oil Temperature”,将其作为单变量时间序列进行预测。最好的结果用粗体表示,第二好的结果用下划线表示。

消融研究结果。

总结

这篇论文介绍了一个名为ATFNet的创新框架,它结合了时间域模块和频率域模块来同时捕获时间序列数据中的局部和全局依赖性。研究者提出了一种新颖的机制“主导谐波系列能量加权”,根据输入时间序列的周期性动态调整两个模块之间的权重。在频率域模块中,通过扩展的离散傅立叶变换(Extended DFT)来解决离散频率不对齐的问题,并引入了复数谱注意力机制,用于探究不同频率组合之间的复杂关系。

论文地址

https://avoid.overfit.cn/post/f5c9d23299df48759b9bf7e58eab93cb

目录
相关文章
|
3月前
|
Kubernetes Devops 持续交付
DevOps实践:使用Docker和Kubernetes实现持续集成和部署网络安全的守护盾:加密技术与安全意识的重要性
【8月更文挑战第27天】本文将引导读者理解并应用DevOps的核心理念,通过Docker和Kubernetes的实战案例,深入探讨如何在现代软件开发中实现自动化的持续集成和部署。文章不仅提供理论知识,还结合真实示例,旨在帮助开发者提升效率,优化工作流程。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的自适应神经网络:原理与应用
【8月更文挑战第14天】在深度学习领域,自适应神经网络作为一种新兴技术,正逐渐改变我们处理数据和解决问题的方式。这种网络通过动态调整其结构和参数来适应输入数据的分布和特征,从而在无需人工干预的情况下实现最优性能。本文将深入探讨自适应神经网络的工作原理、关键技术及其在多个领域的实际应用,旨在为读者提供一个全面的视角,理解这一技术如何推动深度学习向更高效、更智能的方向发展。
|
3月前
|
JavaScript 网络协议 API
【Azure API 管理】Azure APIM服务集成在内部虚拟网络后,在内部环境中打开APIM门户使用APIs中的TEST功能失败
【Azure API 管理】Azure APIM服务集成在内部虚拟网络后,在内部环境中打开APIM门户使用APIs中的TEST功能失败
|
3月前
【Azure App Service】列举为App Service集成虚拟网络(VNET)操作时所需要的最小权限
【Azure App Service】列举为App Service集成虚拟网络(VNET)操作时所需要的最小权限
|
3月前
|
网络协议 安全
【Azure 应用服务】Azure Function集成虚拟网络,设置被同在虚拟网络中的Storage Account触发,遇见Function无法触发的问题
【Azure 应用服务】Azure Function集成虚拟网络,设置被同在虚拟网络中的Storage Account触发,遇见Function无法触发的问题
|
3月前
|
SQL 网络协议 安全
【Azure API 管理】APIM集成内网虚拟网络后,启用自定义路由管理外出流量经过防火墙(Firewall),遇见APIs加载不出来问题
【Azure API 管理】APIM集成内网虚拟网络后,启用自定义路由管理外出流量经过防火墙(Firewall),遇见APIs加载不出来问题
|
3月前
|
域名解析 网络协议 API
【Azure 应用服务】App Service与APIM同时集成到同一个虚拟网络后,如何通过内网访问内部VNET的APIM呢?
【Azure 应用服务】App Service与APIM同时集成到同一个虚拟网络后,如何通过内网访问内部VNET的APIM呢?
|
3月前
|
Kubernetes 监控 Shell
在K8S中,我们公司用户反应pod连接数非常多,希望看一下这些连接都是什么信息?什么状态?怎么排查?容器里面没有集成bash环境、网络工具,怎么处理?
在K8S中,我们公司用户反应pod连接数非常多,希望看一下这些连接都是什么信息?什么状态?怎么排查?容器里面没有集成bash环境、网络工具,怎么处理?
|
3月前
|
缓存 NoSQL 网络协议
【Azure Redis 缓存 Azure Cache For Redis】在创建高级层Redis(P1)集成虚拟网络(VNET)后,如何测试VNET中资源如何成功访问及配置白名单的效果
【Azure Redis 缓存 Azure Cache For Redis】在创建高级层Redis(P1)集成虚拟网络(VNET)后,如何测试VNET中资源如何成功访问及配置白名单的效果
|
4月前
|
SQL 存储 JSON
DataWorks产品使用合集之没有dev环境的project,如何创建数据集成任务时完成网络与资源配置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
下一篇
无影云桌面