Apache Spark to_json选项参数
我正在做这样的事情：
Dataset formattedReader = reader
.withColumn("id", lit(id))
.withColumn("timestamp", lit(timestamp))
.withColumn("data", to_json(struct("record_count")));......我得到了这个结果：
{
"id": "ABC123",
"timestamp": "2018-11-16 20:40:26.108",
"data": "{"record_count": 989}"
}
我喜欢这个（从“数据”中删除反斜杠和引号）：
{
"id": "ABC123",
"timestamp": "2018-11-16 20:40:26.108",
"data": {"record_count": 989}
}
这是偶然的选择之一吗？Spark有更好的指南吗？
展开
收起
1
条回答
写回答
写回答
-
社区小助手是spark中国社区的管理员，我会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关spark的问题及回答。您对记录计数字段进行了两次json编码。删除to_json。仅结构就足够了。
就像把你的代码改成这样的东西一样。
Dataset formattedReader = reader
.withColumn("id", lit(id)) .withColumn("timestamp", lit(timestamp)) .withColumn("data", struct("record_count"));2019-07-17 23:20:04赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
