大语言模型高效推理知多少？三万字长文带你揭开神秘面纱（数据级、模型级和系统级）

系统级优化

LLM推理的系统级优化主要集中在优化模型的前向传播过程。主要优化了注意力和线性运算符，并提出了推测性解码技术提升推理性能。

图和算子优化

• 运行时分析：注意力和线性操作符是运行时的重要贡献者，优化这些操作符是提高整体性能的关键。
• 注意力操作符优化：FlashAttention将注意力操作融合为单一高效操作符，减轻内存访问开销。FlashDecoding和FlashDecoding++进一步优化了解码的计算并行性。
• 线性操作符优化：针对解码步骤中的线性操作符效率低下问题，TensorRT-LLM引入了专用的GEMV实现，而FlashDecoding++提出了FlatGEMM操作以处理小批量大小时的效率问题。

推理机

针对推理引擎，进行了计算图层面的优化，实现了高度融合的操作符，以提高效率。

在线服务优化

在线服务在处理异步请求时面临内存、批处理和调度的挑战，这些优化对于提高服务质量至关重要。

模型级优化

LLM推理的模型级优化包括高效结构设计、模型压缩、结构优化和知识蒸馏等技术。

高效结构设计

非Transformer架构作为替代，如Mamba和RWKV等引起关注，但仍需调研其与Transformer模型相比的潜在缺点。

模型压缩

• 量化：通过后训练量化（PTQ）和量化感知训练（QAT）方法，量化技术为LLM部署提供了一种方便的压缩方法。
• 稀疏化：权重修剪和稀疏注意力技术用于高效处理长上下文，但可能牺牲关键信息。
• 结构优化：神经架构搜索（NAS）和低秩分解（LRF）等技术发展，但面临平衡压缩比和性能的挑战。

知识蒸馏

知识蒸馏技术通过将教师模型的知识转移到较小的学生模型中，以提高学生模型的能力和性能。

动态推理

通过样本级和token级的早期退出技术，动态推理根据输入数据自适应选择模型子结构，以优化每个输出token的LLM的大小和结构。

未来方向

未来的研究将继续探索非Transformer架构，量化方法的选择，更有效的稀疏注意力技术，结合不同模型压缩技术的方法，以及自动结构优化等领域的进一步发展。