谷歌发布时序预测基础模型TimesFM

简介: 【2月更文挑战第27天】谷歌发布时序预测基础模型TimesFM

1.jpg
谷歌研究院近日发布了一款名为TimesFM的新型时间序列预测基础模型,这一创新成果借鉴了自然语言处理(NLP)领域的大型语言模型技术。TimesFM模型的核心优势在于其出色的零样本学习能力,即在未经特定数据集训练的情况下,仍能对多个公共数据集进行准确预测,这一性能接近于传统监督学习方法的预测精度。

时间序列预测在零售、金融、制造、医疗保健和自然科学等多个行业中扮演着关键角色。尽管深度学习模型在处理多变量时间序列数据方面取得了显著进展,但与NLP领域的基础模型相比,时间序列预测领域一直缺乏一个通用且高效的解决方案。TimesFM模型的出现,有望填补这一空白。

TimesFM模型采用了解码器风格的注意力机制,并结合了输入片段技术,这使得模型能够灵活适应不同的历史长度、预测长度和时间粒度。模型的架构类似于Transformer,通过输入和输出片段的有效处理,提升了训练效率。此外,模型还引入了随机遮蔽策略,以适应不同的上下文长度,增强了模型的泛化能力。

在预训练阶段,TimesFM使用了来自Google趋势、维基百科页面浏览量统计以及合成时间序列的大量数据,这些数据涵盖了多样化的领域知识和时间模式,为模型提供了丰富的学习素材。在实证评估中,TimesFM在Darts、Monash和Informer等多个公共数据集上展现出了卓越的零样本预测性能,其预测精度与专门为各任务训练的基线模型相当,甚至更优。

为了进一步验证模型架构的有效性,研究者们还开展了一系列消融研究,探讨了模型规模、自回归解码、输入片段长度以及预训练数据集规模等因素对模型性能的影响。研究结果表明,通过增加模型参数、扩展输出片段长度和扩大预训练数据集规模,可以显著提升模型的预测性能。

TimesFM模型的推出,为时间序列预测领域带来了新的活力。其在多个数据集上的优异表现,证明了其作为一种通用预测工具的潜力。未来,研究者们计划深入研究时间序列基础模型如何处理分布外数据,并探索模型的微调和少样本学习性能,以进一步提升模型的实用性和效率。

论文链接:https://arxiv.org/pdf/2310.10688.pdf

目录
相关文章
|
机器学习/深度学习 供应链 安全
TSMixer:谷歌发布的用于时间序列预测的全新全mlp架构
这是谷歌在9月最近发布的一种新的架构 TSMixer: An all-MLP architecture for time series forecasting ,TSMixer是一种先进的多元模型,利用线性模型特征,在长期预测基准上表现良好。据我们所知,TSMixer是第一个在长期预测基准上表现与最先进的单变量模型一样好的多变量模型,在长期预测基准上,表明交叉变量信息不太有益。”
303 1
|
机器学习/深度学习 人工智能 自然语言处理
满足不同下游任务特征需求!Sea AI Lab 提出多粒度自监督学习框架Mugs,刷新多项SOTA(2)
满足不同下游任务特征需求!Sea AI Lab 提出多粒度自监督学习框架Mugs,刷新多项SOTA
220 0
|
27天前
|
人工智能 计算机视觉
时序=图像?无需微调,视觉MAE跨界比肩最强时序预测大模型
【10月更文挑战第15天】《VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters》提出了一种创新方法,通过将时序数据转化为图像,利用视觉掩码自编码器(MAE)进行自监督预训练,实现时序预测。该模型在未进行任何时序域适配的情况下,展现了出色的零样本预测性能,并且通过少量微调即可达到最先进水平。这一研究为时序预测领域带来了新希望,同时也引发了关于模型解释性和可信度的讨论。
46 1
|
4月前
|
机器学习/深度学习 存储 数据可视化
谷歌的时间序列预测的基础模型TimesFM详解和对比测试
在本文中,我们将介绍模型架构、训练,并进行实际预测案例研究。将对TimesFM的预测能力进行分析,并将该模型与统计和机器学习模型进行对比。
163 2
|
3月前
|
机器学习/深度学习 算法 搜索推荐
支付宝商业化广告算法问题之在DNN模型中,特征的重要性如何评估
支付宝商业化广告算法问题之在DNN模型中,特征的重要性如何评估
|
5月前
|
边缘计算 自然语言处理 安全
谷歌推出AGREE,增强大模型生成回答准确性
【6月更文挑战第19天】谷歌的AGREE技术针对大语言模型(LLMs)的“幻想”回答问题,通过自我接地和引用事实来源提升回答准确性。在多个数据集和模型上的测试显示,AGREE增强了回答和引用的准确性,但无法完全消除错误,且需大量计算资源,还可能涉及隐私和安全问题。[[1](https://arxiv.org/abs/2311.09533)]
45 1
|
6月前
|
机器学习/深度学习 自然语言处理 索引
Moirai:Salesforce的时间序列预测基础模型
过去几个月,时间序列基础模型发展迅速,包括TimeGPT、Lag-Llama、Google的TimesFM、Amazon的Chronos和Salesforce的Moirai。本文聚焦于Moirai,这是一个用于时间序列预测的通用模型,尤其强调零样本推理能力。Moirai处理各种数据频率、适应未知协变量并生成概率预测。文章介绍了Moirai的三个关键特性:多尺寸补丁投影层、任意变量注意力和混合分布。此外,还对比了Moirai与Chronos和TimeGPT,发现Moirai在性能上未超越Chronos,后者在数据效率上更优,但不支持多变量预测。
237 2
|
6月前
|
人工智能 算法 开发者
苹果卷开源大模型,公开代码、权重、数据集、训练全过程,OpenELM亮相
【5月更文挑战第9天】苹果开源大语言模型OpenELM,提升效率和准确性,参数仅为10亿时比OLMo准确度高2.36%。苹果首次公开训练全过程、权重、数据集和代码,增强研究透明度,支持在苹果设备上推理和微调,推动AI研究发展。但训练资源需求高和模型可解释性仍是挑战。论文链接:[arxiv.org/pdf/2404.14619.pdf](https://arxiv.org/pdf/2404.14619.pdf)
77 3
|
机器学习/深度学习 数据采集 传感器
机器学习实战系列[一]:工业蒸汽量预测(最新版本上篇)含数据探索特征工程等
在工业蒸汽量预测上篇中,主要讲解了数据探索性分析:查看变量间相关性以及找出关键变量;数据特征工程对数据精进:异常值处理、归一化处理以及特征降维;在进行归回模型训练涉及主流ML模型:决策树、随机森林,