ChronosX: 可使用外生变量的时间序列预测基础模型-阿里云开发者社区

ChronosX: 可使用外生变量的时间序列预测基础模型

2025-05-09 223

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

实时数仓Hologres，5000CU*H 100GB 3个月

智能开放搜索 OpenSearch行业算法版，1GB 20LCU 1个月

实时计算 Flink 版，1000CU*H 3个月

简介： 时间序列预测中，基础模型虽在单变量任务中表现出色，但引入协变量支持仍面临挑战。Chronos研究团队提出ChronosX架构，通过适配器层有效整合历史与未来协变量信息，适用于任何单变量模型。实验表明，ChronosX显著提升预测性能，尤其在复杂数据集上优势明显。消融研究进一步验证了协变量模块的重要性。尽管需要轻量训练，但其灵活性和通用性为时间序列建模提供了新思路，未来或可通过类似LLM提示机制实现更高效的协变量处理。

时间序列基础模型在单变量预测基准评估中已展现出显著性能。但是在现实应用场景中，外部信息常常是时序决策过程中不可或缺的关键要素。

为基础模型添加协变量支持面临诸多技术挑战。核心问题在于：如何构建一个预训练模型，使其能够适应未曾见过的数据中出现的新相关性模式？这在初步考量时似乎是不可实现的。

现有模型采用了一些替代方法，但这些方法存在明显局限性，所以Chronos和亚马逊研究团队提出的一种新型可插拔解决方案：

ChronosX 通过在Chronos基础架构上增设适配器层，使模型能够有效利用历史观测和未来已知的协变量信息。

该适配器架构的优势在于其通用性——可适用于任何单变量时间序列基础模型！

本文将系统剖析ChronosX的工作机制，并深入探讨其在多种基准测试中的表现。

技术背景

首先，有必要简要回顾当前时间序列基础模型的技术原理。

目前唯一原生支持协变量的基础模型是MOIRAI。该模型采用了一种称为任意变量注意力（any-variate attention）的机制，有效捕获特征间的复杂依赖关系：

一些模型仅在微调阶段引入协变量处理能力。例如，Tiny-Time-Mixers (TTM)模型通过通道混合和外生注入（exogenous infusion）模块，处理历史观测、未来已知和静态变量：

TabPFN-TS是一个特例——该模型本质上是为时间序列预测重新设计的表格回归基础模型。它在合成多变量数据集上进行训练，并能在推理阶段利用外生协变量（历史观测输入除外）。

其他基础模型，如TimesFM和Chronos，均以单变量模型形式进行预训练。解决协变量集成问题的常见做法是为协变量单独训练回归模型。这种方法在大多数场景中表现尚可，但仍然无法有效支持历史观测输入的处理。

ChronosX架构设计

Chronos研究团队针对上述挑战提出了创新解决方案——ChronosX模型架构。

互操作性： 虽然专为Chronos设计，但该架构可应用于任何单变量预训练模型，包括基于补丁（patching-based）的模型如TimesFM。

结构简洁性： 该模块仅由线性层组成，设计轻量高效。

功能全面性： 同时支持历史观测和未来已知的协变量处理。

实用灵活性： 可选择微调整个模型和适配器，或仅微调适配器模块。

研究团队通过实验评估了多种架构设计，最终确定了最优配置。该架构主要由两个关键模块构成（图1）：

输入注入模块（Input Injection Block）： 利用历史协变量优化目标变量的预训练词元嵌入。

输出注入模块（Output Injection Block）： 利用未来协变量调整输出分布（logits）。

图1：*适配器双模块架构示意图*

下面详细分析各模块的内部机制。

输入注入模块

输入注入模块（IIB）的架构如图所示：

图2：输入注入模块内部运算流程

各数学公式和操作流程详解如下：

该模块设计简洁高效——主要通过基础投影操作将历史协变量信息与目标嵌入进行有效融合。

输出注入模块

输出注入模块（OIB）的架构如图3所示：

图3：*输出注入模块内部运算流程*

以下数学公式进一步详细阐释了OIB（图3）内部的运算机制：

类似地，该适配器设计简洁明了——核心目标是基于未来已知变量对模型输出进行精确调整。

实验评估

研究团队随后对所提出的适配器模块进行了全面测试。鉴于带有协变量的时间序列公开数据集有限，研究人员除使用真实数据集外，还构建了专用合成数据集。

数据集配置

合成数据集包含两种主要变体：

简单型（Simple）：仅包含基础正弦信号。
复杂型（Complex）：包含组合正弦信号并添加随机噪声。

两种变体均通过加法或乘法操作引入外部协变量增强。使用的四种协变量类型为：

尖峰型（Spikes）—模拟短暂突发事件，如罢工或电力中断。
阶跃型（Steps）—表示突然且持久的状态变化，如零售业促销折扣。
钟形型（Bells）—表征平滑的暂时性波动，例如节假日期间的需求变化。
自回归型（Autoregressive）—模拟协变量值依赖于其历史模式的场景。

图4展示了此类增强的典型示例：

图4：*合成时间序列生成过程：通过将四种外部协变量之一（使用加法或乘法）应用于四种基本信号之一，生成带有对应协变量的时间序列。*

模型接收增强信号及其协变量作为输入—理想情况下，模型应通过理解上下文信息（协变量）准确预测增强信号的未来走势。

建模配置

研究团队设计了两种适配器应用模式：

仅适配器（Adapter-only）：只训练适配器部分，保持主干网络参数冻结。
完全微调（Fully Fine-Tuned, FF）：同时训练适配器和预训练模型的所有参数。

具体命名规则上，ChronosX表示仅训练适配器的模型配置，而ChronosX(FF)表示带适配器的完全微调变体。

评估指标方面，研究团队采用了以下标准：

加权分位数损失（Weighted quantile loss, WQL）：评估预测分位数与实际值的一致性，计算范围为分位数{0.1, 0.2, ..., 0.9}。
平均绝对比例误差（Mean absolute scaled error, MASE）：衡量预测中位数相对于样本内季节性朴素预测（in-sample Seasonal Naive）的偏差程度。
综合指标：WQL和MASE均报告为几何平均值，并按基线性能进行标准化处理。

合成数据集评估结果

研究团队在此环境下对多种模型类型进行了系统评估—包括统计模型、深度学习模型和基础模型。基础模型进一步细分为三类：

零样本模型：如Chronos-small
仅适配器训练的零样本模型：如ChronosX
带适配器的完全微调模型：如ChronosX(FF)

除Chronos外，研究团队还将其协变量适配器机制应用于其他基础模型，如TimesFM和MOMENT。

图5总结了评估结果：

图5：*合成数据集基准测试结果*

从结果中可以得出以下关键发现：

协变量集成显著提升性能：仅适配器方法（包括ChronosX）及其微调变体（集成协变量信息）明显优于对应的零样本预训练模型—这凸显了协变量集成的实际价值。
ChronosX取得显著性能提升：在WQL和MASE两项核心指标上，ChronosX相较于Chronos-Small提升幅度约为22%—充分展示了其作为预测模型的卓越能力。
完全微调带来额外性能提升：完全微调通常能进一步提高模型性能，如ChronosX(FF)和MOMENTX(FF)所示，尽管在某些特定情况下可能出现轻微性能下降，例如TimesFMX(FF)在复杂数据集上的表现。
基线模型的差异化表现：TFT、DeepAR和PatchTSTx等方法在简单数据上表现良好，但在复杂数据集上优势减弱。

需要注意的重要考量因素：

ChronosX使用的是Chronos-Small (46M)—一个参数量较小的基础模型。
研究中未采用最新（且更强）的基础模型版本—例如，使用的是TimesFM-1.0而非TimesFM-2.0，是Chronos而非Chronos-Bolt，是MOIRAI而非MOIRAI-MOE。
虽然使用了较新的TTM-R2变体，但上下文长度限制为512—性能不及更优的TTM-A版本
大多数情况下，可采用更长的上下文长度—基础模型通常在最大上下文长度配置下表现更佳。

因此，此基准测试中的每个基础模型均处于非最优配置状态。尽管如此，实验结果仍清晰地表明协变量适配器的有效性。

真实数据集评估结果

随后，研究团队在带有协变量的真实世界数据集上测试了这些模型—这些数据集经过精心筛选，以避免预训练数据泄漏问题。

结果如图6所示：

图6：*真实世界数据集基准测试结果*

结果分析如下：

ChronosX展现出极具竞争力的预测准确性：ChronosX在WQL指标上获得最高得分，在MASE指标上排名前五—表现出强大的整体预测能力。
Chronos与其他预训练模型的对比分析：ChronosX持续优于其零样本版本及其他适配器实现，如TimesFMX和MOMENTX。
对原始模型的显著改进：即使是表现相对较弱的基础模型如MOMENT，在协变量适配后也获得显著性能提升（如MOMENTX）—这突显了所提出扩展方法的有效性。
微调后适配器表现下降现象：乍看之下这一结果令人意外—然而，研究人员解释称，部分数据集仅包含稀疏的单个序列样本。在这种情况下，拥有更多可训练参数的预训练模型易受过拟合影响。

总体而言，此基准测试支持ChronosX在不同数据频率和预测范围下的广泛适用性和卓越性能。