开发者学堂课程【阿里云数据集成平台使用教程:数据集成-增量同步】学习笔记,与课程紧密连接,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/430/detail/5371
数据集成-增量同步
内容介绍:
一、同步数据
二、创建 RDS 数据源
三、进行同步任务
四、运行数据
一、同步数据
在 RDS 数据源中的一张 oplog 表中有三个业务日期的数据,将这三个数据分别同步到对应的 MaxCompute 分区表中。
二、创建 RDS 数据源
1.创建目标数据表
首先进入到大数据开发套件控制台,点击项目列表,进入项目工作区。可以选择先创建 MaxCompute 的目标数据表,也可以选择在数据同步的过程中再创建表。
2.创建RDS数据源
点击数据集成,点击数据源,把 RDS 数据源新增过来。数据源类型选择 rds mysql ,也可以选择其他类型的 rds 数据源。填写 rds 相关的数据库信息,进行连通性测试。测试通过之后点击确定,即创建成功 rds 数据源。
三、进行同步任务
1.选择来源
点击同步任务,选择向导模式,选择 rds 数据源、 oplog 表、按照业务日期进行过滤(进行增量数据同步),预览数据。
2.选择目标
下一步选择目标数据源,(在 odps 的每一个项目中,都有一个默认的 odps 数据源),选择目标表。
3.字段映射
点击下一步,会自动默认地进行一一映射。
4.通道控制,预览保存
选择通道速率,预览保存。给同步任务起名字,创建成功后提交同步任务。
四、运行数据
1.选择业务日期
进入运维中心的任务管理,通过补数据节点的方式向数据补入(方便查看数据结果)。业务日期选择5月21-5月23号。
2.查看同步状态
点击前往查看补数据结果,可看到运行。邮件点击查看节点运行日志,也可以刷新查看同步状态。
查看同步结果,5月21号、5月22号、5月23号都同步完成之后,就会有三个分区的数据表(重复刷新查看是否同步完成)。
再运行一次,即完成5条数据按3个分区进行了数据同步。