开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段:SparkSQL 读写_JSON 小技巧】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/690/detail/12057
SparkSQL 读写_JSON 小技巧
内容介绍:
一、toJSON 的场景
二、从 RDD 中直接读取 JSON 格式的 DateFrame
三、课堂总结
处理 JSON 格式文件的小技巧有两个,其一是通过 toJSON 可以将 DateFrame 转成 JSON 形式的 DateFrame;其二是可以直接从 RDD 读取 JSON 的 DateFrame。这两个小技巧都有其分别的适用场景,接下来就进行具体的学习。
一、toJSON 的场景
1、场景
处理完之后,DateFrame 中如果是一个对象,则要将其转化为 JSON,再将 JSON 发送给其他系统。如果其他的系统只支持 JSON 格式的数据,此时 SparkSQL 如果与各种系统进行整合的时,就必须进行转换,将 DateFrame 当中的对象转成 JSON 格式,再发送给其他系统。
2、应用
首先进入 IDEA 中,关闭其他无用的文件。
@Test
def json1(): unit = {
//创建新的方法,并将其命名为 json1
val df = spark.read
.Option("header", value = true)
.csv(path="dataset/BeijingPM20100101_20151231.csv" )
//读出一个关于北京 PM 值的数据集
df.toJSON.show ( )
//通过该数据集有一个方法 toJSON
//toJSON 的 API 应用较为强大,可以直接把 df 当中存放的对象直接转成 JSON 的字符串。正常情况下,这种转换需要使用一些外部工具才能把对象转换为 JSON,如 grows 或 fastjason 等。
}
}
运行代码,对比之前读出的北京 PM 值数据,原先数据有很多列,而现在的运行结果中仅剩一列,且 value 这一列中数据的格式是字符串。
可以发现每一条数据都转成了 JSON 字符串形式的数据。
3、补充
上文中提到仅支持 JSON 数据格式的系统,这里进行举例说明。有一些之前遇到过的不特别常见的场景,需要把数据发往消息队列,但在发之前,要先用 Spark 进行处理,若处于这种情况下,消息队列的那一段只支持 JSON 格式的数据,此时就必须先把 DateFrame 原本的对象转成 JSON 格式再发到消息队列里,就会用到 toJSON。
二、从 RDD 中直接读取 JSON 格式的 DateFrame
1、场景
有一些场景则与上面所提到的将数据发往消息队列相反,如从消息队列里取出 JSON 格式的文件数据需要使用 SparkSQL 进行处理。从消息队列里取出的是 JSON 格式的数据,则应使用 SparkSQL 把 JSON 格式的数据转成对象形式的数据,再进行处理。
2、应用
@Test
def json2(): unit = {
val df = spark.read
.Option("header", value = true)
.csv(path="dataset/BeijingPM20100101_20151231.csv" )
val jsonRDD = df.toJSON.rdd
//此时无法像读取文件一样直接读出 DateFrame,而经过 toJSON 之后则变成了一个 JSON 格式的 DateFrame。而通过 val jsonRDD = df.toJSON.rdd 又将其转换为 JSON 形式的 RDD。
spark.read.json (jsonRDD).show()
//通过 spark.read.json (jsonRDD)直接从 RDD 中读取
DateFrame,并查看结果。
}
}
运行结果显示在运行过程中又把 JSON 形式的数据转成了 DateFrame 的对象形式,且成功返回了结构信息。
这种场景偶尔也会遇到。
三、课堂总结
本节课主要介绍了两个知识点,第一个是把 Dateset[Object](对象形式)转为 Dateset[jsonString](JSON 格式),
第二个知识点是把 RDD[jsonString]转为 DateFrame,即转成 Dateset[Object]。
综上所述,本节课实际上学习了 JSON 和普通对象之间的相互转换,并通过 SparkSQL 提供了相应的支持。