PatchTST：长时间序列预测神器

理解并应用PatchTST算法

本文探讨了基于Transformer的模型PatchTST在时间序列预测中的应用，并与传统的MLP模型如N-BEATS和N-HiTS进行了比较。PatchTST，是针对时间序列的长期预测任务提出的模型，它通过利用时间序列中的局部语义信息，能够处理更长的输入序列，并且在预测性能上取得了先进的结果。

探索PatchTST

PatchTST结合了patching和transformer结构，具备通道独立性以处理多变量时间序列。它的架构包括两个版本：监督和自监督。通过将多变量时间序列分离成单个序列并输入到Transformer主干网，模型能够分别对每个序列进行预测并最终将结果组合。

Patching机制

与传统的点状注意力不同，PatchTST通过patche来捕捉时间步骤间的局部关系。这些patche可以是重叠的或不重叠的，其数量取决于长度P和步长S。Patching减少了输入到transformer编码器的令牌数量，降低了模型复杂性，使得模型可以处理更长的输入序列，进而提高预测质量。

Transformer编码器和表征学习

PatchTST使用经典的Transformer编码器结构，并通过自我监督的表征学习进一步提高模型表现。这个过程涉及随机遮挡一些patche以训练模型重建它们，捕获数据的抽象表示。

应用PatchTST进行预测

在预测实践中，PatchTST与N-BEATS和N-HiTS相比较，使用Exchange数据集进行评估。使用neuralforecast库作为开箱即用的工具，并通过cross_validation生成预测值和真实值。模型通过MAE和MSE指标进行性能评估。

数据探索和模型建立

数据集被分为训练集、验证集和测试集，通过可视化探索数据，并设置预测的水平线和输入大小。使用neuralforecast进行建模时，考虑了模型的水平线和输入大小，以及其他超参数。

模型评估

在评估阶段，PatchTST在MAE和MSE上都显示出了最好的性能，尽管只在一个数据集和一个预测范围内进行了测试。这表明PatchTST是一个有前景的模型，尤其适合长期时间序列预测任务。

总结

总体而言，PatchTST作为一个基于Transformer的模型，通过使用局部语义信息提取机制，可以更快速地进行训练，处理更长的输入序列，并在时间序列预测任务中取得了优异的性能。

参考资料

• Zheng等人，2022: https://arxiv.org/pdf/2205.13504.pdf
• PatchTST: https://arxiv.org/pdf/2211.14730.pdf
• 数据集库: https://github.com/Nixtla/datasetsforecast/blob/main/datasetsforecast/long_horizon.py
• PatchTST的论文: https://arxiv.org/pdf/2211.14730.pdf