十亿行挑战显示 Java 可以在两秒钟内处理十亿行的文件

Decodable高级软件工程师Gunnar Morling在2024年新年伊始向Java社区发起了十亿行挑战（1BRC），旨在发现能够最快处理十亿行Java代码的算法。挑战截至1月底，目前最快记录是2.5秒。挑战的规则是仅允许使用SDK特性，不得使用外部库或数据存储。

1BRC的任务是解析文本文件中的温度测量值，确定每个气象站的最小、最大和平均温度，文件包含十亿条目。Morling表示，挑战旨在探索高性能编程技术、新API、不同Java版本特性，展示Java的高速性能。参与方式是查看README文件，克隆存储库，尝试实现解决方案并学习他人尝试。

挑战中出现了一些意料之外的解决方案，如利用黑客技巧优化特定数据集，运用SIMD和Java原生内存API，及高度优化的解析函数等。InfoQ采访了三位参与者，他们分享了各自的解决方案和体验。

Barlas的解决方案依据处理器数量拆分文件，每部分由单独线程计算统计信息，利用MappedByteBuffer进行内存映射访问。Roy van Rijn采用渐进式解决方案，从使用SDK数据结构和API到直接内存访问以及无分支代码。Wuerthinger的方案利用了内存映射和避免分支代码。

对于进一步改进的可能性，Barlas关注Panama项目和Vector API，Wuerthinger提到可能的改进取决于目标硬件，Roy van Rijn探索“机械同情”概念以优化指令执行。这项挑战不仅限于Java生态，也有使用Rust、Go、C++等语言的解决方案。Morling对社区热情参与表示感谢，并指出GraalVM提供额外性能提升。