开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中mongodb的json类型同步?

DataWorks中mongodb的json类型同步?

展开
收起
cuicuicuic 2023-10-16 20:56:58 32 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,MongoDB的JSON类型数据可以通过以下步骤同步到MaxCompute:

    1. 创建DataWorks任务,选择MongoDB作为源端数据源,选择MaxCompute作为目的端数据源。
    2. 在任务配置中,选择需要同步的表和字段,并将JSON类型字段转换为MaxCompute支持的数据类型,例如字符串、数字、日期等。
    3. 在任务配置中,设置同步规则,例如按照时间戳进行同步、按照指定的字段进行同步等。
    4. 运行任务,将MongoDB的JSON类型数据同步到MaxCompute。
    2023-10-17 16:06:28
    赞同 展开评论 打赏
  • 用户mongodb同步想取数据json里operator里的name的数数据,数据如下图:

    具体的同步任务column的配置如下:
    "column":[
    {
    "name":"operator.name",
    "type":"document.string"
    }]
    这样会在对应的目标列展现hz这个数据。image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-17 07:07:33
    赞同 展开评论 打赏
  • 在DataWorks中,将MongoDB中的JSON类型同步到MaxCompute中,可以使用以下方法:

    1. 在MaxCompute中,创建一个名为“collection”的表,用于存储同步的数据。
    2. 在DataWorks中,选择源端为MongoDB的数据源,并创建一个数据同步任务。
    3. 在数据同步任务的配置页面中,选择“MaxCompute”作为目的端数据源,并配置数据同步的规则和映射关系。
    4. 在规则配置页面中,选择“MongoDB”作为源端数据源,并选择“collection”表作为目的端表。
    5. 在映射关系配置页面中,将MongoDB中的JSON字段解析为MaxCompute中的表字段。例如,将MongoDB中的“JSON字段”解析为MaxCompute中的“JSON字段”表字段。
    6. 点击“保存”按钮,完成数据同步任务的创建。
    7. 在DataWorks中启动数据同步任务,将MongoDB中的JSON类型同步到MaxCompute中的表字段中。注意,由于MaxCompute不支持JSON类型,因此在同步过程中,需要将JSON字段转换为其他类型,例如字符串类型。
    2023-10-16 21:36:44
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    Data as a Service - 数据即服务 -- MongoDB⾼级应⽤模式 立即下载
    MongoDB多数据中心的方案选型之路 立即下载
    饿了么高级架构师陈东明:MongoDB是如何逐步提高可靠性的 立即下载