用 Lag-Llama 进行时间序列预测实战

Lag-Llama——开源时间序列基础模型摘要

概述

Lag-Llama是由LLaMA团队开发的开源时间序列基础模型，其预训练能力使其能够识别未见过的数据模式，提供单变量概率预测。这款基于LLaMA模型解码器的模型使用滞后项作为协变量，捕获时间序列的时间依赖性，不依赖于线性假设或平稳性。它专为单变量时间序列设计，可以进行零次学习（ZSL）和少次学习（FSL）。

输入和架构

Lag-Llama的输入包括滞后协变量和日期特征，以适应时间序列数据。它基于LLaMA模型，该模型是基于Transformer架构的，但进行了三处修改以提高性能，包括RMSNorm归一化函数、SwiGLU激活函数和Rotary嵌入。

概率预测和学习方式

Lag-Llama将概率预测视为从学生t分布中抽取的样本，需要对其关键参数进行建模。该模型能够进行零点和少点学习，能够泛化到新的、未见过的数据，并且经过预训练，可以在多个领域或任务中学习共享表征。

环境要求和数据处理

使用Lag-Llama需要Python gluonTS库，并且可能需要创建一个新的conda虚拟环境以免影响其他资源。数据处理部分提到了如何使用Kaggle公开的沃尔玛商店历史销售数据，并解释了如何将数据转换为GluonTS兼容的格式。

建模和评估

建模过程中，使用LagLlamaEstimator()声明模型，需指定训练和预测长度等参数。模型采用零点学习预测沃尔玛数据。评估指标为连续排序概率得分（CRPS），用于评价概率预测的性能。

总结

文章讨论了使用Lag-Llama进行零样本预测的方法，并介绍了其架构和学习概念。CRPS作为评估概率预测的指标，验证了模型的有效性。公众号『数据STUDIO』提供了相关Python内容和数据科学领域的知识。