谷歌发布时序预测基础模型TimesFM

谷歌研究院近日发布了一款名为TimesFM的新型时间序列预测基础模型，这一创新成果借鉴了自然语言处理（NLP）领域的大型语言模型技术。TimesFM模型的核心优势在于其出色的零样本学习能力，即在未经特定数据集训练的情况下，仍能对多个公共数据集进行准确预测，这一性能接近于传统监督学习方法的预测精度。

时间序列预测在零售、金融、制造、医疗保健和自然科学等多个行业中扮演着关键角色。尽管深度学习模型在处理多变量时间序列数据方面取得了显著进展，但与NLP领域的基础模型相比，时间序列预测领域一直缺乏一个通用且高效的解决方案。TimesFM模型的出现，有望填补这一空白。

TimesFM模型采用了解码器风格的注意力机制，并结合了输入片段技术，这使得模型能够灵活适应不同的历史长度、预测长度和时间粒度。模型的架构类似于Transformer，通过输入和输出片段的有效处理，提升了训练效率。此外，模型还引入了随机遮蔽策略，以适应不同的上下文长度，增强了模型的泛化能力。

在预训练阶段，TimesFM使用了来自Google趋势、维基百科页面浏览量统计以及合成时间序列的大量数据，这些数据涵盖了多样化的领域知识和时间模式，为模型提供了丰富的学习素材。在实证评估中，TimesFM在Darts、Monash和Informer等多个公共数据集上展现出了卓越的零样本预测性能，其预测精度与专门为各任务训练的基线模型相当，甚至更优。

为了进一步验证模型架构的有效性，研究者们还开展了一系列消融研究，探讨了模型规模、自回归解码、输入片段长度以及预训练数据集规模等因素对模型性能的影响。研究结果表明，通过增加模型参数、扩展输出片段长度和扩大预训练数据集规模，可以显著提升模型的预测性能。

TimesFM模型的推出，为时间序列预测领域带来了新的活力。其在多个数据集上的优异表现，证明了其作为一种通用预测工具的潜力。未来，研究者们计划深入研究时间序列基础模型如何处理分布外数据，并探索模型的微调和少样本学习性能，以进一步提升模型的实用性和效率。

论文链接：https://arxiv.org/pdf/2310.10688.pdf