DataWorks中分库分表同步操作步骤是什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。创建离线同步节点。鼠标悬停至 图标,单击数据集成 > 离线同步。您也可以找到相应的业务流程,右键单击数据集成,选择新建 > 离线同步。在新建节点对话框中,输入节点名称,并选择目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。单击提交。配置离线同步节点。您可以通过向导模式和脚本模式配置分库分表同步:如果您通过向导模式配置分库分表同步,请单击数据来源区域的添加分库分表+,选择对应的数据源和表。详情请参见通过向导模式配置任务。
您还可以单击新建数据源进行新建,详情请参见配置MySQL数据源。如果您通过脚本模式配置分库分表同步,示例如下。详情请参见通过脚本模式配置任务。注意 实际运行时,请删除下述代码中的注释。{"type": "job","version": "1.0","configuration": {"reader": {"plugin": "mysql","parameter": {"connection": [{"table": [ //分库分表的Table列表1"tbl1","tbl2","tbl3"],"datasource": "datasourceName1" //分库分表的数据源1},{"table": [ //分库分表的Table列表2"tbl4","tbl5","tbl6"],"datasource": "datasourceName2" //分库分表的数据源2}],"singleOrMulti": "multi","splitPk": "db_id","column": ["id", "name", "age"],"where": "1 < id and id < 100"}},"writer": {}}}提交节点。注意 您需要设置节点的 https://help.aliyun.com/document_detail/176490.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。