开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中mongo同步到odps最佳实践是什么?

DataWorks中mongo同步到odps最佳实践是什么?

展开
收起
真的很搞笑 2023-09-06 14:25:36 49 0
1 条回答
写回答
取消 提交回答
  • mongoDB到odps样例:
    写在前面举例:mongoDB的authDb库为admin库,那么业务同步其他库数据该怎么办?
    请在数据源配置中库名填写业务库名,确保username权限正常,若数据源连通性报错auth failed可先忽略。
    需要另在同步任务json配置中添加"adthDb":"admin"参数。
    样例如下:
    {
    "type": "job",
    "version": "2.0",
    "steps": [
    {
    "stepType": "mongodb",
    "parameter": {
    "datasource": "wpw_test_mongo",
    "authDb":"admin",
    "envType": 0,
    "column": [
    {
    "name": "col1",
    "type": "string"
    },
    {
    "name": "col2",
    "type": "array",
    "splitter": " "
    },
    {
    "name": "col3",
    "type": "string"
    },
    {
    "name": "col4",
    "type": "int"
    },
    {
    "name": "col5",
    "type": "bool"
    },
    {
    "name": "col6",
    "type": "double"
    }
    ],
    "collectionName": "wpw_test_collec"
    },
    "name": "Reader",
    "category": "reader"
    },
    {
    "stepType": "odps",
    "parameter": {
    "partition": "pt=unknown",
    "truncate": true,
    "datasource": "odps_first",
    "envType": 0,
    "column": [
    "col1",
    "col2",
    "col3",
    "col4",
    "col5",
    "col6"
    ],
    "emptyAsNull": false,
    "tableComment": "*",
    "table": "wpw_test"
    },
    "name": "Writer",
    "category": "writer"
    }
    ],
    "setting": {
    "executeMode": null,
    "errorLimit": {
    "record": ""
    },
    "speed": {
    "concurrent": 2,
    "throttle": false
    }
    },
    "order": {
    "hops": [
    {
    "from": "Reader",
    "to": "Writer"
    }
    ]
    }
    },此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-06 15:27:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载