本文主要讨论了大型语言模型（LLM）在时序预测任务中的应用效果。时序预测是许多领域中的关键问题，包括疾病传播预测、零售销售分析、医疗保健和金融等。近年来，随着大型语言模型的发展和其在多模态任务中的成功应用，越来越多的研究人员开始探索将LLM应用于时序预测的可能性。
然而，这篇论文的作者通过一系列的消融实验和研究，得出了一个令人惊讶的结论：LLM在时序预测任务中并没有展现出显著的优势，甚至在某些情况下，去除LLM组件或用简单的注意力层替换它，并不会影响预测结果，甚至可能有所改善。
首先，作者对三种最近的LLM-based时序预测方法进行了消融实验。他们发现，在大多数情况下，去除LLM组件或用简单的注意力层替换它，并没有对预测结果产生负面影响。相反，在一些情况下，结果甚至有所改善。这表明，LLM在时序预测任务中并没有提供独特的优势。
其次，作者还研究了预训练的LLM在时序预测任务中的表现。他们发现，尽管预训练的LLM在其他任务中表现出色，但在时序预测任务中，它们并没有比从头开始训练的模型表现得更好。这表明，LLM在时序预测任务中并没有有效地利用其预训练的知识。
此外，作者还研究了LLM在捕捉时序依赖性方面的能力。他们发现，尽管LLM在处理文本中的序列依赖性方面非常出色，但在处理时序数据中的序列依赖性方面，它们并没有展现出同样的能力。这可能是因为时序数据和文本数据在结构和特征上存在差异。
最后，作者还研究了LLM在小样本学习设置中的表现。他们发现，即使在只有10%的训练数据可用的情况下，LLM也没有提供显著的预测性能提升。这表明，LLM在小样本学习设置中并没有提供独特的优势。
