欢迎来到现在的大模型榜单，真就没一个可信的。
版权声明
我们非常重视原创文章，为尊重知识产权并避免潜在的版权问题，我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容，访问作者的公众号页面获取完整文章。
查看原文：现在的大模型榜单，真就没一个可信的。
文章来源：
数字生命卡兹克
扫码关注公众号
扫码阅读
手机扫码阅读
大模型榜单的水分：Reflection 70B事件分析摘要
近期，AI界被一款名为Reflection 70B的大模型震撼，其在基准测试上超越了GPT-4o，并声称采用了创新技术「Reflection-Tuning」。然而，其高效的开发过程—仅两人三周完成—及其在评测中的惊人表现引起了怀疑。
随后，外部评测揭示了Reflection 70B的成绩异常。其创始人Matt一度将问题归咎于技术故障，随即推出了一个新的API来证明模型的实力。但不久，社区成员发现所谓的Reflection 70B的API输出结果与另一模型Claude3.5惊人地相似，进一步的测试表明Reflection 70B很可能是一个伪装的Claude。
这个事件背后反映出AI领域存在的一个现象—刷榜。由于大模型的评测数据集是公开的，模型可以在公布成绩前针对这些数据集进行优化，导致评测结果失去了真实性。此外，各种AI产品榜单的可信度也受到质疑，很多公司为了获得更高的排名，可能会采取不当的手段来提高自己产品的表现。
最终，Reflection 70B事件告诉我们，AI领域的评测和排名可能充满水分，不应盲目追求排名，而应脚踏实地地关注真正有意义的技术进步和应用。卡兹克建议，我们不应将这些榜单视为决定性评价标准，而应以怀疑的态度对待，并专注于对普通用户真正有用的技术。
数字生命卡兹克
查看原文：现在的大模型榜单，真就没一个可信的。
文章来源：
数字生命卡兹克
扫码关注公众号
相关推荐
511业务设计上往往没有建立起特定的领域模型，这是我们架构腐化和软件开发困难的关键原因。**业务领域建立好的模型，并指导代码实践，这就是 ”编程思维“。** DDD 领域驱动设计就是解决这部分问题，与其叫领域驱动设计，不如叫做模型驱动设计。
数字生命卡兹克的其他文章
ChatGPT，成了这个“智力障碍”儿童的赛博守护灵。
末将ChatGPT，愿为主公赴汤蹈火。
现在都在用AI辅助面试，当年我求职的时候也好想有。
如果AI有一个非常实用的落地场景，那我觉得，一定就是AI辅助面试。
ChatGPT新功能Code Interpreter评测 - 何以为神
Code Interpreter。是能够与ChatGPT并驾齐驱的产品；是人工智能史上新写下的一串名字；是从OpenAI手上，诞生出的又一个，大师之作。
她决定开源AI模型，正面宣战“N号房2.0”。
如果一个人的火把太小，我们就把火把传给世界的每一个人。
他用Luma和Suno复活了逝去11年的爱人，给我看破防了。
即使人生结束，故事也仍将继续。
加入社区微信群
与行业大咖零距离交流学习
PMO实践白皮书
白皮书上线
白皮书上线
