谷歌研究院近日发布了一款名为TimesFM的新型时间序列预测基础模型,这一创新成果借鉴了自然语言处理(NLP)领域的大型语言模型技术。TimesFM模型的核心优势在于其出色的零样本学习能力,即在未经特定数据集训练的情况下,仍能对多个公共数据集进行准确预测,这一性能接近于传统监督学习方法的预测精度。
时间序列预测在零售、金融、制造、医疗保健和自然科学等多个行业中扮演着关键角色。尽管深度学习模型在处理多变量时间序列数据方面取得了显著进展,但与NLP领域的基础模型相比,时间序列预测领域一直缺乏一个通用且高效的解决方案。TimesFM模型的出现,有望填补这一空白。
TimesFM模型采用了解码器风格的注意力机制,并结合了输入片段技术,这使得模型能够灵活适应不同的历史长度、预测长度和时间粒度。模型的架构类似于Transformer,通过输入和输出片段的有效处理,提升了训练效率。此外,模型还引入了随机遮蔽策略,以适应不同的上下文长度,增强了模型的泛化能力。
在预训练阶段,TimesFM使用了来自Google趋势、维基百科页面浏览量统计以及合成时间序列的大量数据,这些数据涵盖了多样化的领域知识和时间模式,为模型提供了丰富的学习素材。在实证评估中,TimesFM在Darts、Monash和Informer等多个公共数据集上展现出了卓越的零样本预测性能,其预测精度与专门为各任务训练的基线模型相当,甚至更优。
为了进一步验证模型架构的有效性,研究者们还开展了一系列消融研究,探讨了模型规模、自回归解码、输入片段长度以及预训练数据集规模等因素对模型性能的影响。研究结果表明,通过增加模型参数、扩展输出片段长度和扩大预训练数据集规模,可以显著提升模型的预测性能。
TimesFM模型的推出,为时间序列预测领域带来了新的活力。其在多个数据集上的优异表现,证明了其作为一种通用预测工具的潜力。未来,研究者们计划深入研究时间序列基础模型如何处理分布外数据,并探索模型的微调和少样本学习性能,以进一步提升模型的实用性和效率。