力压Transformer，详解Mamba和状态空间模型（上）

介绍Mamba模型和状态空间模型

语言模型的成功在很大程度上得益于Transformer架构的支持。Mistral和ChatGPT等模型都使用了该架构。然而，学界正研究能超越Transformer的新架构，引人注目的是Mamba模型的状态空间模型（SSM）。

1. Transformer架构的挑战

Transformer架构能追溯序列中任意输入的早期token，有助于推导深层的语义表示。它包含编码器和解码器，后者用于生成式模型，例如GPT。自注意力机制加快了训练速度，但在生成新token时重新计算整个序列的注意力权重，导致计算成本随序列长度平方增长，成为性能瓶颈。

1.1 Transformer的核心组件

Transformer的编码器解析文本，解码器生成文本。生成式模型GPT通过解码器续写文本，表现出强大的文本生成能力。

1.2 自注意力的高效训练

自注意力通过一次性构建矩阵来加快训练速度，该矩阵对每个token与之前所有token进行比较，计算权重。

1.3 训练与推理的矛盾

生成新token时必须重新计算整个序列的注意力权重，这导致计算成本随序列长度平方增长。

1.4 RNN的潜力

RNN通过循环机制处理序列数据，避免了重新计算整个序列的历史隐藏状态。尽管RNN在推理速度上有优势，但其训练过程无法并行化。

2. 状态空间模型（SSM）

状态空间模型处理信息序列，通过数学方式描述系统状态，具有全面性和简化性。它追踪系统位置、移动方向和变化路径，并使用状态向量来描述状态。在神经网络中，这些状态向量用于描述输入序列的状态，对于生成新token至关重要。

2.1 什么是状态空间

状态空间是描述系统状态的全集，类似于迷宫中展示所有可能位置的地图。状态空间表示是这张地图的提炼，告诉我们当前位置、可能的目的地和达到下一个状态的行动。

推荐书单《极速Python：高性能编码计算与数据分析》提供了高性能编程解决方案，介绍了Python在大数据中的应用。购买链接附在文末。

IPD（集成产品开发）与CMMI的对比

了解更多

想要了解更多内容？

查看原文：力压Transformer，详解Mamba和状态空间模型（上）

文章来源：

AI科技论谈

扫码关注公众号