最强开源大模型Llama3深夜发布 - 世界不能没有Meta

在AI界备受期待的Llama3模型终于发布，这一消息激起了业界的巨大关注，甚至被认为影响力不亚于GPT4.5。Meta公司，被认为是真正的“OpenAI”，其Llama模型是众多大型模型生态的基础。

Llama3模型已在其官网和huggingface平台上架，提供两个版本：8B和70B。与往常一样，Meta允许在特定条件下（月活跃用户不超过7亿）免费商用这些模型。

在跑分测试中，无论是8B还是70B版本的Llama3都显示出惊人的性能，全线秒杀同尺寸的竞争对手，其中8B版本甚至超越了Llama2的70B版本。Llama3 70B版本在对标其他顶尖模型如Gemini Pro 1.5和Claude3 Sonnet时表现出色，其分数证明了其强大的性能。

Llama3还进行了额外的高质量评估集测试，涵盖了12个关键用例。然而，模型存在两个局限：知识库更新只到2023年（7B到3月，70B到12月）和上下文长度限制在8K，这在当前大模型中显得较小。

Llama3在训练数据方面使用了超过15T的词库，是Llama2的七倍大，并且包含了四倍于Llama2的代码数量。预训练数据集还包含超过5%的非英语数据，涵盖30多种语言。Meta还在训练一个规模更大的400B模型，但这可能不会开源。

在官方网站和第三方平台上可以直接使用Llama3，也可以下载部署和微调。Llama3的中文能力相对较弱，需要社区的微调来改善。

在实际测试中，Llama3-8B在代码能力方面表现出色，解决了复杂的编程问题，这在Llama2中是不可能的。总的来说，Llama3是一个王炸级别的模型，被认为是目前最强的开源模型，再次证明了Meta在AI领域的领先地位。

同时，文章中也提到了吴恩达的生日，以及对OpenAI的GPT5的期待。