开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks mongo中的array类型写入mc中的string, 为什么格式不是json?

DataWorks mongo中的array类型写入mc中的string, 为什么格式不是json? 格式很奇怪?image.png
image.png

展开
收起
cuicuicuic 2023-11-30 15:16:54 13 0
2 条回答
写回答
取消 提交回答
  • 这个是符合预期的哈,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-30 20:23:52
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    当将 MongoDB 中的数组类型写入到 DataWorks 的单个字段时,表示为字符串格式而非 JSON 格式,这是因为在数据集成过程中,DataWorks 需要对数据进行扁平化处理。

    MongoDB 中的数组类型可以包含多个元素,而 DataWorks 的目标存储(例如 MaxCompute)是基于结构化的表格存储,不支持直接存储数组或复杂类型。为了解决这个问题,DataWorks 将 MongoDB 数组类型转换为字符串,并使用某种规则来表示数组元素之间的关系。

    通常情况下,DataWorks 使用一定的分隔符(如逗号、竖线等)来连接数组元素,并将其保存为字符串。这样做可以满足结构化存储的要求,并且在需要时可以通过一些处理方式还原为数组。

    请注意,由于将数组转换为字符串会导致部分数据的结构信息丢失,因此在目标存储中进行后续操作时,可能需要进一步处理和解析该字符串以恢复原始的数组结构。

    2023-11-30 16:39:25
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载