开发者社区> 问答> 正文

如何通过数据集成导入数据



通过数据集成导入数据


用户可以通过 数据集成(Data Integration)向 HybridDB for MySQL 中进行数据的全量导入或带过滤条件的导入。

准备工作


  1. HybridDB for MySQL 中待迁入数据的目标数据库和表,都需要在进行数据导入之前,通过MySQL客户端先创建好。
  2. 当待迁出数据的源数据库为阿里云RDS时,请通过RDS的管理控制台进行IP白名单设置,详见数据集成文档《如何添加RDS IP白名单》。如下图所示,通过HybridDB for MySQL的管理控制台进入白名单设置添加下面IP地址:10.152.69.0/24,10.153.136.0/24,10.143.32.0/24,120.27.160.26,10.46.67.156,120.27.160.81,10.46.64.81,121.43.110.160,10.117.39.238,121.43.112.137,10.117.28.203,118.178.84.74,10.27.63.41,118.178.56.228,10.27.63.60,118.178.59.233,10.27.63.38,118.178.142.154,10.27.63.15,100.64.0.0/8注意:若使用自定义资源组调度HybridDB for MySQL数据同步任务,必须把自定义资源组的机器 ip 也加到HybridDB for MySQL的白名单中。


新添加数据源



注意:只有项目管理员角色才能够新建数据源,其他角色的成员仅能查看数据源。
  1. 以项目管理员身份进入数加管理控制台,点击项目列表下对应项目操作栏中的进入工作区;
  2. 进入顶部菜单栏中的数据集成页面,点击左侧导航栏中的数据源;
  3. 点击右上角的新增数据源,如下图所示:
  4. 在新增数据源弹出框中填写相关配置项,如下图所示:上图中的配置项具体说明如下:■ 数据源名称: 由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符 。■ 数据源描述: 对数据源进行简单描述,不得超过 80 个字符 。■ 数据源类型: 当前选择的数据源类型MySQL。■ 网络类型: 当前选择的网络类型。■ 连接串: JDBC连接信息,格式为:jdbc:mysql://IP:Port/database。■ 用户名/密码: 数据库对应的用户名和密码。不同数据源类型对应的配置说明,请参见:数据源配置
  5. 点击测试连通性。
  6. 若测试连通性成功,点击保存即可。

    新添加数据源


  1. 新建同步任务,如下图所示:
  2. 选择来源:选择MaxCompute(原ODPS)数据源及源头表mytest,数据浏览默认是收起的,选择后点击下一步,如下图所示:
  3. 选择目标:选择mysql数据源及目标表a1,选择后点击下一步,如下图所示:
  4. 映射字段:点击下一步,选择字段的映射关系。需对字段映射关系进行配置,左侧“源头表字段”和右侧“目标表字段”为一一对应的关系 ,如下图所示。
  5. 通道控制点击下一步,配置作业速率上限和脏数据检查规则,如下图所示:
  6. 预览保存:完成以上配置后,上下滚动鼠标可查看任务配置,如若无误,点击保存,如下图所示:

    提交数据同步任务



同步任务保存后,直接点击运行任务会立刻运行或点击右边的提交,将同步任务提交到调度系统中,调度系统会按照配置属性在从第二天开始自动定时执行。

展开
收起
云栖大讲堂 2017-10-31 16:52:27 1957 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
Flink CDC:新一代数据集成框架 立即下载
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
《DataWorks 数据集成实时同步》 立即下载