PySpark 读写 JSON 文件到 DataFrame

摘要

本文介绍了如何使用PySpark将JSON文件读入DataFrame，并展示了如何将DataFrame数据写回JSON文件。PySpark SQL的read.json()函数可处理单行或多行JSON文件，并支持多种读取和写入选项。

读取JSON文件

使用read.json("path")或read.format("json").load("path")方法，可以读取JSON文件到DataFrame。JSON数据源默认推断模式，而无需像CSV文件一样指定模式。文章中给出了从GitHub下载zipcodes.json文件的链接。PySpark允许通过设置multiline选项来读取多行JSON文件，默认为false。同时，可以从多个文件路径读取多个JSON文件，或读取目录中的所有JSON文件。

自定义架构和SQL读取

可以通过PySpark Schema定义数据结构，使用StructType和StructField类编程方式指定DataFrame结构。如果已知文件架构，可以使用自定义Schema读取文件。此外，PySpark SQL提供了创建临时视图的方法以直接读取JSON文件。

读取选项

PySpark支持如NullValues和DateFormat选项，可以指定如何处理JSON中的null值和日期格式。

DataFrame转换

创建DataFrame后，可以应用所有支持的转换和操作。

写入JSON文件

PySpark通过DataFrameWriter对象的write方法将DataFrame写入JSON文件，并支持多个写入选项和保存模式，包括overwrite、append、ignore和errorifexists。

源代码

文末提供了源代码供参考，并推荐关注公众号『数据STUDIO』获取更多数据科学领域的内容。