花7000块实测Claude2.1 - 200K Token的超大杯效果究竟怎么样？

摘要：

昨日，创新的AI模型Claude2.1正式发布，仅对API用户开放，带来新的功能和显著提升。本次更新的亮点是200K Tokens的上下文窗口，用于改善模型的记忆能力和减少幻象率，同时推出了一个新的测试功能“工具使用”。

200K Tokens上下文：

200K Tokens的上下文窗口是此次更新的核心亮点，提供了比以往模型4K Tokens上下文窗口大得多的容量，相当于470页PDF材料。这样的容量使得用户能够将整个代码库、技术文档、财务报表乃至完整的文学作品如《奥德赛》输入模型。

效果测试：

为了评估200K Tokens上下文窗口的实际效果，一位名为Greg Kamradt的用户进行了名为“大海捞针”的压力测试，花费了1016美金。该测试旨在检验模型从大量文本中检索信息的能力，尤其是信息在文档中的不同位置时的准确性。测试结果显示，仅当信息位于文档的顶部或底部时，Claude2.1才能准确回忆起来。

结论和建议：

测试得出的结论包括：减少上下文量可以提高模型的回忆能力；信息的位置很重要，置于文档开始和50%-100%文档深度区间的事实更容易被回忆。同时，提示工程对于提升检索准确性是至关重要的，建议用户对提示进行调整并进行A/B测试。

行业对比：

尽管Claude2.1推出了200K Tokens上下文窗口，但其检索成功率不如预期，尤其在总量达到100K Tokens后，成功率不足50%。与此同时，GPT4也发布了128K Tokens上下文窗口，其整体检索成功率较高，显示出在AI行业的领先地位。最终，虽然大容量对于AI模型是一个优势，但质量也需相匹配，仅有容量而缺乏质量是不够的。

额外信息：

对于希望获得高清测试图的读者，可以通过公众号私信获取。文章最后，作者也呼吁读者点赞、转发以支持其工作。