一文详解大语言模型的流行架构与训练技术

本篇博客详细介绍了大型语言模型（LLMs）的构建流程，覆盖从模型架构的选择、数据准备、分词、位置嵌入、模型预训练、微调和指令微调、对齐，到解码策略等关键步骤。

1. 主流的LLM架构

介绍了以Transformer为基础的仅编码器、仅解码器和编码器-解码器三种主流架构。Transformer的自注意力机制是核心，而不同架构适用于不同的任务，如BERT是仅编码器模型，GPT为仅解码器模型，而序列到序列模型则采用编码器-解码器结构。

2. 数据清理

强调了数据质量的重要性，包括数据过滤和去重两个关键环节，确保模型性能。介绍了数据过滤的目的及技术，以及去重的意义和方法。

3. 分词

分词作为文本处理的基础，涉及了BytePairEncoding、WordPieceEncoding和SentencePieceEncoding三种流行的分词器，它们通过不同的机制来处理词典外问题并增加覆盖率。

4. 位置嵌入

介绍了绝对位置嵌入、相对位置嵌入和旋转位置嵌入三种方法，每种方法都旨在捕获序列中的位置信息，以增强模型的性能。

5. 模型预训练

讨论了自回归语言建模和遮蔽语言建模两种预训练方法，以及近来流行的专家混合（Mixture of Experts, MoE）方法，这些方法帮助LLMs获得基础的语言理解能力。

6. 微调和指令微调

微调是语言模型训练流程中的重要步骤，而指令微调则帮助LLMs根据提示指令生成符合期望的响应。Self-Instruct方法也在此环节得到探讨。

7. 对齐

对齐是引导AI系统朝向人类目标和偏好的过程，涉及指令微调外的RLHF和RLAIF等方法，以及新的DPO和KTO方法。

8. 解码策略

阐述了解码过程中的多种策略，如Greedy Search、Beam Search和Top-K/Top-P (Nucleus)采样，每种策略在文本生成上有不同的应用。

9. 费效比优化训练/推理/适应/压缩

总结了几种优化训练的框架，如ZeRO和RWKV，以及低秩适应、知识蒸馏和量化等技术，旨在实现经济高效的计算。

最后，感谢读者的陪伴，并邀请关注“AI生成未来”公众号，获取更多AI行业资讯。