如何通过脚本模式配置任务配置同步任务的写入端?

如何通过脚本模式配置任务配置同步任务的写入端?

展开
收起
滴滴滴~ 2023-03-21 16:44:06 205 分享 版权
3 条回答
写回答
取消 提交回答
  • 配置完成读取端数据源信息后,可以继续手动配置离线同步任务的写入端数据源,以及需要同步的表信息等。{"stepType": "odps","parameter": {"postSql":[], //导入后的准备语句。"partition": "","truncate": true,"compress": false,"datasource": "odps_first","column": ["*"],"emptyAsNull": false,"table": "","preSql":["delete from XXX;" //导入前的准备语句。如果需要多条语句,请使用英文分号(;)分隔。]},"name": "Writer","category": "writer" //说明分类为writer写入端。}],说明选择写入端的数据源时,请参见配置Writer。很多任务在写入时,需要选择写入模式。例如覆盖写入还是追加写入,针对不同的数据源,有不同的写入模式。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-22 09:48:26
    赞同 展开评论
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    可以看官方提供的文档,里面介绍的非常全面,参考文档

    image.png

    2023-03-21 20:56:26
    赞同 展开评论
  • 配置任务的操作步骤如下所示:

    1.新建数据源。
    2.新建离线同步节点。
    3.导入模板。
    4.配置同步任务的读取端。
    5.配置同步任务的写入端。
    6.配置字段的映射关系。
    7.配置作业速率上限、脏数据检查规则等信息。 配置调度属性。

    2023-03-21 20:01:18
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理