大模型榜单的水分：Reflection 70B事件分析摘要

近期，AI界被一款名为Reflection 70B的大模型震撼，其在基准测试上超越了GPT-4o，并声称采用了创新技术「Reflection-Tuning」。然而，其高效的开发过程—仅两人三周完成—及其在评测中的惊人表现引起了怀疑。

随后，外部评测揭示了Reflection 70B的成绩异常。其创始人Matt一度将问题归咎于技术故障，随即推出了一个新的API来证明模型的实力。但不久，社区成员发现所谓的Reflection 70B的API输出结果与另一模型Claude3.5惊人地相似，进一步的测试表明Reflection 70B很可能是一个伪装的Claude。

这个事件背后反映出AI领域存在的一个现象—刷榜。由于大模型的评测数据集是公开的，模型可以在公布成绩前针对这些数据集进行优化，导致评测结果失去了真实性。此外，各种AI产品榜单的可信度也受到质疑，很多公司为了获得更高的排名，可能会采取不当的手段来提高自己产品的表现。

最终，Reflection 70B事件告诉我们，AI领域的评测和排名可能充满水分，不应盲目追求排名，而应脚踏实地地关注真正有意义的技术进步和应用。卡兹克建议，我们不应将这些榜单视为决定性评价标准，而应以怀疑的态度对待，并专注于对普通用户真正有用的技术。

数字生命卡兹克

查看原文：现在的大模型榜单，真就没一个可信的。

文章来源：

数字生命卡兹克

扫码关注公众号

这个“淄”味真不错！如何用产品思维看淄博烧烤？

了解更多