PySpark 读写 CSV 文件到 DataFrame

PySpark CSV 文件处理摘要

本文介绍了如何使用 PySpark 读取单个CSV文件、多个CSV文件以及目录中的所有CSV文件，并展示了如何将PySpark DataFrame保存回CSV文件。同时，文章提供了多种选项来自定义读取和写入CSV文件的过程。

读取CSV文件到DataFrame

文章首先说明了使用csv("path")或format("csv").load("path")方法将CSV文件读取到PySpark DataFrame中，并展示了如何使用标题选项来将文件中的第一行作为列名。此外，介绍了如何使用read.csv()方法读取多个CSV文件和目录中的所有CSV文件。

读取CSV文件时的选项

文章接下来讨论了在读取CSV文件时可用的多个选项：

• delimiter：指定列分隔符。
• inferSchema：根据数据自动推断列类型。
• header：使用第一行作为列名。
• quotes：指定引号字符来忽略分隔符。
• nullValues：指定空值。
• dateFormat：设置日期格式。

文章还提到了使用用户自定义的架构读取CSV文件的方法。

应用DataFrame转换

创建DataFrame之后，可以应用DataFrame支持的所有转换和操作。

将DataFrame写入CSV文件

使用write()方法将DataFrame保存为CSV文件，并提供了多个选项来自定义保存过程，包括header、delimiter、quote、escape、nullValue、dateFormat和quoteMode。同时，介绍了mode()方法来指定DataFrameWriter的保存模式，例如overwrite、append、ignore和error。

完整示例

最后，文章提供了一个完整的示例，演示了如何读取CSV文件到DataFrame，以及如何将DataFrame写入CSV文件。

结论

文章总结了PySpark处理CSV文件的关键步骤和可用选项，提供了一个实用的资源，方便读者学习和应用。