结合Transformer与Mamba，Jamba来了！

84 2024-09-29

AI 模型 https GPT EVI

我们非常重视原创文章，为尊重知识产权并避免潜在的版权问题，我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容，访问作者的公众号页面获取完整文章。

查看原文：结合Transformer与Mamba，Jamba来了！

文章来源：

啥都会一点的研究生

扫码关注公众号

Article Summary

Grok 重大升级

Elon Musk的人工智能初创公司X.ai推出了Grok-1.5，这是Grok聊天机器人的一次重大升级。新模型具有更强大的推理能力，特别是在编程和数学任务上。它还能处理更长、更复杂的输入，具有高达128,000个标记的上下文窗口。目前正在由X的早期用户测试，并计划后续推广。

结合Transformer与Mamba，Jamba来了

AI21 Labs发布了基于Mamba架构的Jamba，这是一个结合了Transformer模型和Mamba SSM优势的生产级AI模型。Jamba具有混合架构，优化了内存、吞吐量和性能。它在基准测试中展示了卓越的性能，将以Apache 2.0许可证公开发布，并可通过NVIDIA API目录获取。

谷歌DeepMind的AI生成数据检查器

谷歌DeepMind开发的Search-Augmented Factuality Evaluator（SAFE）系统在评估大型语言模型生成信息的准确性方面，表现优于人类。SAFE的成本效益显著，比人类检查员便宜20倍，尽管其“超人类”的表现仍有争议。

情感与AI结合：Hume AI的EVI

Hume AI推出了Empathic Voice Interface（EVI），这是一个新型对话AI。EVI能理解用户的语调，并在交互中加入情感智能。它还能准确检测对话的结束，处理中断，并通过学习用户反应来逐步改进。

Claude 3 Opus击败GPT-4

Anthropic的Claude 3 Opus在Chatbot Arena排行榜上超越了OpenAI的GPT-4，成为评价最高的聊天机器人。它的低成本和中档模型也表现出色。OpenAI仍占主导地位，但Anthropic的进展以及传闻中的GPT-4.5或GPT-5模型，显示了竞争态势。

DBRX成为世界上最强大的开源LLM

Databricks发布了DBRX系列，这是一系列开源大型语言模型，为性能和效率设定了新标准。这些模型在计算效率上比其他领先的LLM高出2倍，在多个行业基准上优于GPT-3.5，尽管仍落后于GPT-4。

Stability AI CEO离职与新LLM发布

Stability AI的CEO Emad Mostaque辞职，专注于去中心化人工智能，并推动透明和分布式治理。公司任命临时联合CEO，同时在混乱中寻找永久替代者。同时，Stability AI推出了新的Instruction-tuned LLM，Stable Code Instruct 3B，声称在多个方面优于竞争对手。