开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何配置数据同步任务?

DataWorks如何配置数据同步任务?

展开
收起
真的很搞笑 2023-08-17 07:45:25 128 0
1 条回答
写回答
取消 提交回答
  • 打开新建的数据同步节点,即可进行同步任务的配置,详情请参见通过向导模式配置任务。您需要在数据同步任务的编辑页面进行以下配置:选择数据源。配置同步任务的数据来源和数据去向。image.png
    参数 描述
    数据源 即上述参数说明中的datasource,通常填写您配置的数据源名称。
    表 即上述参数说明中的table。
    导入前准备语句 即上述参数说明中的preSql,输入执行数据同步任务之前率先执行的SQL语句。
    导入后完成语句 即上述参数说明中的postSql,输入执行数据同步任务之后执行的SQL语句。
    主键冲突 即上述参数说明中的writeMode,可以选择需要的导入模式。字段映射,即上述参数说明中的column。左侧的源头表字段和右侧的目标表字段为一一对应的关系。image.png
    参数 描述
    同名映射 单击同名映射,可以根据名称建立相应的映射关系,请注意匹配数据类型。
    同行映射 单击同行映射,可以在同行建立相应的映射关系,请注意匹配数据类型。
    取消映射 单击取消映射,可以取消建立的映射关系。
    自动排版 可以根据相应的规律自动排版。通道控制。image.png
    参数 描述
    任务期望最大并发数 数据同步任务内,可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数,指定任务所使用的并行度。
    同步速率 设置同步速率可以保护读取端数据库,以避免抽取速度过大,给源库造成太大的压力。同步速率建议限流,结合源库的配置,请合理配置抽取速率。
    错误记录数 错误记录数,表示脏数据的最大容忍条数。通道控制。image.png
    参数 描述
    任务期望最大并发数 数据同步任务内,可
    https://help.aliyun.com/document_detail/137763.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-17 14:17:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多