开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

如何配置DataWorks同步数据源间的数据传输?

如何配置DataWorks同步数据源间的数据传输?

展开
收起
芯在这 2023-04-20 08:13:44 185 0
2 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    DataWorks提供了一种称为同步任务的功能,可以配置数据源之间的数据传输。下面是基本步骤:

    登录 DataWorks 控制台,在左侧导航栏中选择“数据集成”下的“同步任务”。

    在同步任务页面,单击“创建任务”。

    在任务创建页面,填写任务名称。

    选择源数据源和目的数据源。例如,你可以选择关系型数据库作为源数据源,选择MaxCompute作为目的数据源。

    在字段映射页面,定义源和目标数据源之间的字段映射关系。可以使用自动映射或手动映射工具来处理。

    在同步频率页面,设置同步间隔和开始时间等任务参数。

    在运行配置页面,配置同步任务的资源使用和并发程度。

    单击“提交”以创建和启动同步任务。

    检查同步任务的执行状态,可以在任务记录页面查看日志和监视各个任务阶段的运行情况。

    以上是DataWorks同步任务的基本配置步骤。需要注意的是,具体的配置过程可能因数据源类型和配置要求而有所不同,建议按DataWorks文档的说明进行操作。

    2023-04-20 18:52:25
    赞同 展开评论 打赏
  • 同步任务支持多种同构、异构数据源间的数据传输。首先,在工作空间管理 > 数据源页面,新增需要同步的数据源,详情请参见配置数据源。新增数据源后,在数据集成配置同步任务时,可以直接进行选择。数据集成支持同步的数据源类型请参见支持的数据源与读写插件。说明数据集成不支持部分数据源的测试连通性,详情请参见数据源测试连通性。数据源创建在本地,没有公网IP或网络无法到达的情况下,测试连通性会失败。数据集成支持自定义资源组解决网络不可达的情况。详情请参见新增自定义数据集成资源组。 如果网络不可达,您在向导模式中无法获取表结构等信息,请通过脚本模式新建同步任务。 https://help.aliyun.com/document_detail/137717.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-20 11:51:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多