开发者社区> 问答> 正文

Apache Spark to_json选项参数

我正在做这样的事情:

Dataset formattedReader = reader

.withColumn("id", lit(id))
.withColumn("timestamp", lit(timestamp))
.withColumn("data", to_json(struct("record_count")));

......我得到了这个结果:

{
"id": "ABC123",
"timestamp": "2018-11-16 20:40:26.108",
"data": "{"record_count": 989}"
}
我喜欢这个(从“数据”中删除反斜杠和引号):

{
"id": "ABC123",
"timestamp": "2018-11-16 20:40:26.108",
"data": {"record_count": 989}
}
这是偶然的选择之一吗?Spark有更好的指南吗?

展开
收起
社区小助手 2018-12-12 11:32:09 2246 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    您对记录计数字段进行了两次json编码。删除to_json。仅结构就足够了。

    就像把你的代码改成这样的东西一样。

    Dataset formattedReader = reader

    .withColumn("id", lit(id))
    .withColumn("timestamp", lit(timestamp))
    .withColumn("data", struct("record_count"));
    2019-07-17 23:20:04
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载

相关镜像