Apache Spark to_json选项参数-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Apache Spark to_json选项参数

我正在做这样的事情:

Dataset formattedReader = reader

.withColumn("id", lit(id))
.withColumn("timestamp", lit(timestamp))
.withColumn("data", to_json(struct("record_count")));

......我得到了这个结果:

{
"id": "ABC123",
"timestamp": "2018-11-16 20:40:26.108",
"data": "{"record_count": 989}"
}
我喜欢这个(从“数据”中删除反斜杠和引号):

{
"id": "ABC123",
"timestamp": "2018-11-16 20:40:26.108",
"data": {"record_count": 989}
}
这是偶然的选择之一吗?Spark有更好的指南吗?

展开
收起
社区小助手 2018-12-12 11:32:09 1824 0
1 条回答
写回答
取消 提交回答
  • 社区小助手
    社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    您对记录计数字段进行了两次json编码。删除to_json。仅结构就足够了。

    就像把你的代码改成这样的东西一样。

    Dataset formattedReader = reader

    .withColumn("id", lit(id))
    .withColumn("timestamp", lit(timestamp))
    .withColumn("data", struct("record_count"));
    2019-07-17 23:20:04
    赞同 展开评论 打赏
问答排行榜
最热
最新
相关电子书
更多
云HBaseSQL及分析 ——Phoenix&Spark
立即下载
R AND SPARK
立即下载
Spark Autotuning
立即下载