DataWorks提供了一种称为同步任务的功能,可以配置数据源之间的数据传输。下面是基本步骤:
登录 DataWorks 控制台,在左侧导航栏中选择“数据集成”下的“同步任务”。
在同步任务页面,单击“创建任务”。
在任务创建页面,填写任务名称。
选择源数据源和目的数据源。例如,你可以选择关系型数据库作为源数据源,选择MaxCompute作为目的数据源。
在字段映射页面,定义源和目标数据源之间的字段映射关系。可以使用自动映射或手动映射工具来处理。
在同步频率页面,设置同步间隔和开始时间等任务参数。
在运行配置页面,配置同步任务的资源使用和并发程度。
单击“提交”以创建和启动同步任务。
检查同步任务的执行状态,可以在任务记录页面查看日志和监视各个任务阶段的运行情况。
以上是DataWorks同步任务的基本配置步骤。需要注意的是,具体的配置过程可能因数据源类型和配置要求而有所不同,建议按DataWorks文档的说明进行操作。
同步任务支持多种同构、异构数据源间的数据传输。首先,在工作空间管理 > 数据源页面,新增需要同步的数据源,详情请参见配置数据源。新增数据源后,在数据集成配置同步任务时,可以直接进行选择。数据集成支持同步的数据源类型请参见支持的数据源与读写插件。说明数据集成不支持部分数据源的测试连通性,详情请参见数据源测试连通性。数据源创建在本地,没有公网IP或网络无法到达的情况下,测试连通性会失败。数据集成支持自定义资源组解决网络不可达的情况。详情请参见新增自定义数据集成资源组。 如果网络不可达,您在向导模式中无法获取表结构等信息,请通过脚本模式新建同步任务。 https://help.aliyun.com/document_detail/137717.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。