超过GPT3.5？Mixtral 8*7B 模型结构分析

Datawhale干货

作者：宋志学，Datawhale成员

前言

2023年12月11日，Mistral AI团队发布了Mixtral 8x7B，一个高质量的稀疏专家混合模型(SMoE)。该模型旨在推进人工智能领域的发展，提供开放权重，使用Apache 2.0开源许可证。Mixtral 8x7B在性能和成本方面超越了现有模型，如Llama 2 70B，速度提升6倍，同时与GPT3.5在标准基准测试中表现相当。

Mixtral的特点包括：

• 优雅处理32k标记的上下文。
• 支持多种语言，包括英语、法语、意大利语、德语和西班牙语。
• 在代码生成方面表现出色。
• 可微调成遵循指令的模型，在MT-Bench上得分为8.3。

Mixtral模型结构：

MixtralModel类源于transformers库，继承自PreTrainedModel，包含通用方法。MixtralConfig类提供配置管理，通过简单代码创建模型配置对象。MixtralModel初始化包括嵌入层、多个解码器层和归一化层的设置，支持梯度检查点。

MixtralModel类：

MixtralModel类的forward方法涉及将输入标记向量化、通过解码器层传播并归一化。MixtralDecoderLayer类使用MixtralSparseMoeBlock替代传统MLP层，引入MoE结构差异。MixtralAttention类基于经典的多头注意力机制，并引入旋转位置嵌入。

MixtralSparseMoeBlock：

MixtralSparseMoeBlock实现了稀疏MoE结构，通过门控层分配隐藏状态给各个专家，并整合处理结果。MixtralBLockSparseTop2MLP作为专家模型，基于MLP层实现。

总体来看，Mixtral 8x7B模型通过创新的结构和开放的许可证，为AI社区提供了一个强大且易于访问的资源，有助于推动AI技术的发展。

小学老师就告诉我要学好语数外，诚不我欺也！

了解更多

想要了解更多内容？

查看原文：超过GPT3.5？Mixtral 8*7B 模型结构分析

文章来源：

Datawhale

扫码关注公众号