Apache Spark to_json选项参数-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Apache Spark to_json选项参数

社区小助手 2018-12-12 11:32:09 1418

我正在做这样的事情:

Dataset formattedReader = reader

.withColumn("id", lit(id))
.withColumn("timestamp", lit(timestamp))
.withColumn("data", to_json(struct("record_count")));

......我得到了这个结果:

{
"id": "ABC123",
"timestamp": "2018-11-16 20:40:26.108",
"data": "{"record_count": 989}"
}
我喜欢这个(从“数据”中删除反斜杠和引号):

{
"id": "ABC123",
"timestamp": "2018-11-16 20:40:26.108",
"data": {"record_count": 989}
}
这是偶然的选择之一吗?Spark有更好的指南吗?

json参数 apache参数 参数par 参数spa cache参数
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:20:04

    您对记录计数字段进行了两次json编码。删除to_json。仅结构就足够了。

    就像把你的代码改成这样的东西一样。

    Dataset formattedReader = reader

    .withColumn("id", lit(id))
    .withColumn("timestamp", lit(timestamp))
    .withColumn("data", struct("record_count"));
    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

相似问题
最新问题