通过数据集成导入数据
用户可以通过
数据集成(Data Integration)向 HybridDB for MySQL 中进行数据的全量导入或带过滤条件的导入。
准备工作
- HybridDB for MySQL 中待迁入数据的目标数据库和表,都需要在进行数据导入之前,通过MySQL客户端先创建好。
- 当待迁出数据的源数据库为阿里云RDS时,请通过RDS的管理控制台进行IP白名单设置,详见数据集成文档《如何添加RDS IP白名单》。如下图所示,通过HybridDB for MySQL的管理控制台进入白名单设置添加下面IP地址:10.152.69.0/24,10.153.136.0/24,10.143.32.0/24,120.27.160.26,10.46.67.156,120.27.160.81,10.46.64.81,121.43.110.160,10.117.39.238,121.43.112.137,10.117.28.203,118.178.84.74,10.27.63.41,118.178.56.228,10.27.63.60,118.178.59.233,10.27.63.38,118.178.142.154,10.27.63.15,100.64.0.0/8注意:若使用自定义资源组调度HybridDB for MySQL数据同步任务,必须把自定义资源组的机器 ip 也加到HybridDB for MySQL的白名单中。
新添加数据源
注意:只有项目管理员角色才能够新建数据源,其他角色的成员仅能查看数据源。
- 以项目管理员身份进入数加管理控制台,点击项目列表下对应项目操作栏中的进入工作区;
- 进入顶部菜单栏中的数据集成页面,点击左侧导航栏中的数据源;
- 点击右上角的新增数据源,如下图所示:
- 在新增数据源弹出框中填写相关配置项,如下图所示:上图中的配置项具体说明如下:■ 数据源名称: 由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符 。■ 数据源描述: 对数据源进行简单描述,不得超过 80 个字符 。■ 数据源类型: 当前选择的数据源类型MySQL。■ 网络类型: 当前选择的网络类型。■ 连接串: JDBC连接信息,格式为:jdbc:mysql://IP:Port/database。■ 用户名/密码: 数据库对应的用户名和密码。不同数据源类型对应的配置说明,请参见:数据源配置。
- 点击测试连通性。
- 若测试连通性成功,点击保存即可。
新添加数据源
- 新建同步任务,如下图所示:
- 选择来源:选择MaxCompute(原ODPS)数据源及源头表mytest,数据浏览默认是收起的,选择后点击下一步,如下图所示:
- 选择目标:选择mysql数据源及目标表a1,选择后点击下一步,如下图所示:
- 映射字段:点击下一步,选择字段的映射关系。需对字段映射关系进行配置,左侧“源头表字段”和右侧“目标表字段”为一一对应的关系 ,如下图所示。
- 通道控制点击下一步,配置作业速率上限和脏数据检查规则,如下图所示:
- 预览保存:完成以上配置后,上下滚动鼠标可查看任务配置,如若无误,点击保存,如下图所示:
提交数据同步任务
同步任务保存后,直接点击运行任务会立刻运行或点击右边的提交,将同步任务提交到调度系统中,调度系统会按照配置属性在从第二天开始自动定时执行。