开发者学堂课程【阿里云数据集成平台使用教程:数据集成-整库迁移】学习笔记,与课程紧密连接,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/430/detail/5372
数据集成-整库迁移
内容介绍:
一、登录平台
二、新增数据源
三、整库迁移
四、整库迁移功能区
五、提交任务
六、查看任务
一、登录平台
首先登录到数家数据集成产品页。
二、新增数据源
通过左侧的离线同步数据源标签,进入数据源管理页面,点击右上角新增数据源。为数据源起个名字,选择数据源类型,填写MySQL的JDBC信息,以及用户名和密码。
三、整库迁移
点击测试连通性,测试通过点击确定,成功增加一个 MySQL 数据源。点击该数据源右侧整库迁移,进入整库迁移面板。
四、整库迁移功能区
1.数据库里面所有的表。
2.右上角的高级设置
可在此进行表名称的转化(比如将 op 转换为 ods-op )、字段名称的转换(如 id 转换为 user-id )、字段类型的转换(根据业务需求进行转换)。
3.是选择整库迁移的一些参数
(1)选择同步方式
每日增量(将每天所产生的业务日期的数据增量同步到 MaxCompute 中,是通过日期制断进行控制.)和每日全量(将数据表中的所有数据进行同步到 MaxCompute 中).选择每日增量.时间日期: optime (可看到 where 条件过滤的一些 circle )。
(2)同步并发配置
分批上传(按需设置上传速率)和整批上传(将库里所有的表一次性同步上传)。(建议使用分批上传。)此处为了方便选择整批上传。
五、提交任务
点击提交任务(可看到任务进展。) .
六、查看任务
点击同步任务查看上传的同步任务,可预览查看。
(可到运维中心任务管理查看运行结果。右键点击补数据节点,调度任务。可通过刷新查看任务进展或右键点击查看日志,运行成功。)
可去 select·from ods-oplog; 表中看数据同步情况。