亚马逊最新时序大模型Chronos：将时间序列作为一种语言进行学习

Chronos摘要

Chronos是亚马逊公司于2024年3月发布的基于转换器的语言模型架构，旨在进行zero-shot概率预测。它在时间序列预测领域具有创新意义，与现有的基础预测模型如TimeGPT、PromptCast和LLMTime相比，Chronos通过最小化调整语言模型来优化预测任务。

Chronos 概述

Chronos工作流程包括数据缩放和量化，使用语言模型进行预测，最后进行去量化和去比例化以获得实际预测结果。这个过程有效地将时间序列数据转化为LLMs能够处理的格式。

时间序列的标记化

时间序列的标记化通过缩放和量化两个步骤完成。首先，通过平均缩放将数据规范化到一个公共范围，随后，使用分位数分箱进行量化，将实值序列转换为离散标记。

数据增强

由于时间序列数据不易获取，Chronos采用了TSMix和KernelSynth两种数据增强技术来提高训练数据集的多样性。这些技术通过结合现有序列的子序列和使用高斯过程生成合成时间序列来实现。

训练与推理

Chronos的训练使用分类交叉熵损失函数，并通过自回归采样对时间序列数据进行概率预测。推理过程简单，只需输入上下文token并通过模型生成预测token即可。

实验结果

实验结果表明，Chronos模型在已知数据集上超越了传统和深度学习模型，且在新数据集上显示出竞争力的zero-shot性能。较大的Chronos模型具有更好的预测能力，而且使用数据增强技术可以改善零样本学习能力。

利用 Chronos 进行预测

研究人员已经预先训练了不同大小的五个Chronos模型用于零点预测。通过一个Python示例项目，这些模型与传统的MLP和N-BEATS模型进行了性能对比，在M3月度数据集上测试显示，N-BEATS模型的准确性最高。

讨论

Chronos作为一种新型的时间序列预测模型，展现了在不同数据集上进行零样本预测的潜力。与特定任务适配器的堆叠集成相比，Chronos提供了预测流程的简化。尽管其推理速度较慢，但通过技术优化可能提高性能。本研究还探讨了将Chronos与其他LLMs结合的可能性。