谷歌发布时序预测基础模型TimesFM

简介: 【2月更文挑战第27天】谷歌发布时序预测基础模型TimesFM

1.jpg
谷歌研究院近日发布了一款名为TimesFM的新型时间序列预测基础模型,这一创新成果借鉴了自然语言处理(NLP)领域的大型语言模型技术。TimesFM模型的核心优势在于其出色的零样本学习能力,即在未经特定数据集训练的情况下,仍能对多个公共数据集进行准确预测,这一性能接近于传统监督学习方法的预测精度。

时间序列预测在零售、金融、制造、医疗保健和自然科学等多个行业中扮演着关键角色。尽管深度学习模型在处理多变量时间序列数据方面取得了显著进展,但与NLP领域的基础模型相比,时间序列预测领域一直缺乏一个通用且高效的解决方案。TimesFM模型的出现,有望填补这一空白。

TimesFM模型采用了解码器风格的注意力机制,并结合了输入片段技术,这使得模型能够灵活适应不同的历史长度、预测长度和时间粒度。模型的架构类似于Transformer,通过输入和输出片段的有效处理,提升了训练效率。此外,模型还引入了随机遮蔽策略,以适应不同的上下文长度,增强了模型的泛化能力。

在预训练阶段,TimesFM使用了来自Google趋势、维基百科页面浏览量统计以及合成时间序列的大量数据,这些数据涵盖了多样化的领域知识和时间模式,为模型提供了丰富的学习素材。在实证评估中,TimesFM在Darts、Monash和Informer等多个公共数据集上展现出了卓越的零样本预测性能,其预测精度与专门为各任务训练的基线模型相当,甚至更优。

为了进一步验证模型架构的有效性,研究者们还开展了一系列消融研究,探讨了模型规模、自回归解码、输入片段长度以及预训练数据集规模等因素对模型性能的影响。研究结果表明,通过增加模型参数、扩展输出片段长度和扩大预训练数据集规模,可以显著提升模型的预测性能。

TimesFM模型的推出,为时间序列预测领域带来了新的活力。其在多个数据集上的优异表现,证明了其作为一种通用预测工具的潜力。未来,研究者们计划深入研究时间序列基础模型如何处理分布外数据,并探索模型的微调和少样本学习性能,以进一步提升模型的实用性和效率。

论文链接:https://arxiv.org/pdf/2310.10688.pdf

目录
相关文章
|
机器学习/深度学习 供应链 安全
TSMixer:谷歌发布的用于时间序列预测的全新全mlp架构
这是谷歌在9月最近发布的一种新的架构 TSMixer: An all-MLP architecture for time series forecasting ,TSMixer是一种先进的多元模型,利用线性模型特征,在长期预测基准上表现良好。据我们所知,TSMixer是第一个在长期预测基准上表现与最先进的单变量模型一样好的多变量模型,在长期预测基准上,表明交叉变量信息不太有益。”
284 1
|
机器学习/深度学习 人工智能 自然语言处理
满足不同下游任务特征需求!Sea AI Lab 提出多粒度自监督学习框架Mugs,刷新多项SOTA(2)
满足不同下游任务特征需求!Sea AI Lab 提出多粒度自监督学习框架Mugs,刷新多项SOTA
214 0
|
17天前
|
人工智能 计算机视觉
时序=图像?无需微调,视觉MAE跨界比肩最强时序预测大模型
【10月更文挑战第15天】《VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters》提出了一种创新方法,通过将时序数据转化为图像,利用视觉掩码自编码器(MAE)进行自监督预训练,实现时序预测。该模型在未进行任何时序域适配的情况下,展现了出色的零样本预测性能,并且通过少量微调即可达到最先进水平。这一研究为时序预测领域带来了新希望,同时也引发了关于模型解释性和可信度的讨论。
28 1
|
4月前
|
机器学习/深度学习 存储 数据可视化
谷歌的时间序列预测的基础模型TimesFM详解和对比测试
在本文中,我们将介绍模型架构、训练,并进行实际预测案例研究。将对TimesFM的预测能力进行分析,并将该模型与统计和机器学习模型进行对比。
148 2
|
4月前
LLM用于时序预测真的不行,连推理能力都没用到
【7月更文挑战第15天】LLM在时序预测上的应用遇挫:研究显示,大型语言模型在多个实验中未显优势,甚至被简单注意力层替代时效果不变或更好。预训练知识未能有效利用,处理时序依赖性不足,且在小样本学习中未见提升。[链接:](https://arxiv.org/pdf/2406.16964)**
82 2
|
5月前
|
边缘计算 自然语言处理 安全
谷歌推出AGREE,增强大模型生成回答准确性
【6月更文挑战第19天】谷歌的AGREE技术针对大语言模型(LLMs)的“幻想”回答问题,通过自我接地和引用事实来源提升回答准确性。在多个数据集和模型上的测试显示,AGREE增强了回答和引用的准确性,但无法完全消除错误,且需大量计算资源,还可能涉及隐私和安全问题。[[1](https://arxiv.org/abs/2311.09533)]
44 1
|
6月前
|
人工智能
MIT等首次深度研究集成LLM预测能力:可媲美人类群体准确率
【4月更文挑战第16天】研究人员集成12个大型语言模型(LLM)组成“硅基群体”,在预测比赛中与925名人类预测者对比。研究发现,LLM群体的预测准确性与人类群体无显著差异,且通过集成可抵消个体模型的偏差,提高预测准确。GPT-4和Claude 2等模型结合人类预测后,准确度提升17%至28%。然而,个别LLM预测精度不一,模型选择和校准度是提升预测性能的关键,同时LLM在时间跨度和现实场景适应性方面仍有挑战。
90 6
MIT等首次深度研究集成LLM预测能力:可媲美人类群体准确率
|
6月前
|
机器学习/深度学习 自然语言处理 索引
Moirai:Salesforce的时间序列预测基础模型
过去几个月,时间序列基础模型发展迅速,包括TimeGPT、Lag-Llama、Google的TimesFM、Amazon的Chronos和Salesforce的Moirai。本文聚焦于Moirai,这是一个用于时间序列预测的通用模型,尤其强调零样本推理能力。Moirai处理各种数据频率、适应未知协变量并生成概率预测。文章介绍了Moirai的三个关键特性:多尺寸补丁投影层、任意变量注意力和混合分布。此外,还对比了Moirai与Chronos和TimeGPT,发现Moirai在性能上未超越Chronos,后者在数据效率上更优,但不支持多变量预测。
226 2
|
6月前
|
人工智能 算法 开发者
苹果卷开源大模型,公开代码、权重、数据集、训练全过程,OpenELM亮相
【5月更文挑战第9天】苹果开源大语言模型OpenELM,提升效率和准确性,参数仅为10亿时比OLMo准确度高2.36%。苹果首次公开训练全过程、权重、数据集和代码,增强研究透明度,支持在苹果设备上推理和微调,推动AI研究发展。但训练资源需求高和模型可解释性仍是挑战。论文链接:[arxiv.org/pdf/2404.14619.pdf](https://arxiv.org/pdf/2404.14619.pdf)
75 3
|
6月前
|
算法 数据挖掘 关系型数据库
有限混合模型聚类FMM、广义线性回归模型GLM混合应用分析威士忌市场和研究专利申请数据
有限混合模型聚类FMM、广义线性回归模型GLM混合应用分析威士忌市场和研究专利申请数据