Pandas和Polars性能对决，为什么越来越多的专业人士开始使用Polars

摘要

Python的数据处理库Pandas因其易用性而广受欢迎，但在处理大数据集时存在性能瓶颈。Polars库采用Rust编写，提供多线程查询引擎，承诺提供更高的数据处理速度，特别适合处理大规模数据集。

1 选择Polars的理由

Polars针对Pandas的局限性，提供了并行计算、查询优化、文件扫描以及改进的写时复制机制，这些特性都旨在提高数据处理性能，特别是在大数据场景下。同时，Polars提供与Pandas相似的API，降低了从Pandas迁移到Polars的学习成本。

2 创建大型数据集的方法

文章展示了使用Python代码创建一个含有约1100万行数据的大型数据集的过程，该数据集模拟了125年间每小时的销售数据，涉及10个不同的地点。

3 Pandas VS Polars：基准测试

在基准测试中，Polars在多项测试上均展示出比Pandas更快的处理速度。读取CSV文件时，Polars几乎比Pandas快10倍。在读取和预处理CSV文件的测试中，Polars的速度提升了5倍。在分组操作中，Polars同样保持了更快的速度。最终，对于完整的数据处理流程，Polars的速度提升更是达到了惊人的12倍，尤其是当使用其延迟评估技术时。

4 总结

尽管Pandas因其易用性和成熟的生态系统而在数据专家中流行，但Polars在处理大量数据时展现出其高效的性能优势。对于超出内存限制的大数据集，Polars表现更佳。