MySQL 单表周期离线同步场景配置任务时,创建同步任务有哪些步骤?
1.新建业务流程:进入 DataWorks DataStudio(数据开发)页面,选中已存在业务流程或新建业务流程。
2.创建离线同步节点:选中离线任务所属的业务流程,单击右键,新建“离线同步”节点。
3.设置数据来源:设置数据源类型、数据源名称、待同步源表、数据过滤规则和切分键。数据过滤规则支持数据源 SQL 的 where 过滤语句和 DataWorks的调度系统参数。切分键用于并发同步时数据分片使用,为提升效率建议使用主键或索引键,支持类型为数值型。设置完毕后可以点击“数据预览”键查看预览数据。
4.设置数据去向:设置数据源类型、数据源名称(MaxCompute 数据类型可以使用绑定引擎时默认建立的 odps_first 数据源)和目标表等参数。
5.配置字段的映射关系:选择数据来源和数据去向后,需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动排版。
6.配置通道控制:配置完成上述操作后,请进行通道控制。
以上内容摘自《全链路数据治理-全域数据集成》电子书,点击https://developer.aliyun.com/ebook/download/7707可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。