数据集成-增量同步 | 学习笔记

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 快速学习数据集成-增量同步

开发者学堂课程【阿里云数据集成平台使用教程数据集成-增量同步学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/430/detail/5371


数据集成-增量同步

内容介绍:

一、同步数据

二、创建 RDS 数据源

三、进行同步任务

四、运行数据


一、同步数据

在 RDS 数据源中的一张 oplog 表中有三个业务日期的数据,将这三个数据分别同步到对应的 MaxCompute 分区表中。

image.png


二、创建 RDS 数据源

1.创建目标数据表

首先进入到大数据开发套件控制台,点击项目列表,进入项目工作区。可以选择先创建 MaxCompute 的目标数据表,也可以选择在数据同步的过程中再创建表。

2.创建RDS数据源

点击数据集成,点击数据源,把 RDS 数据源新增过来。数据源类型选择 rds mysql ,也可以选择其他类型的 rds 数据源。填写 rds 相关的数据库信息,进行连通性测试。测试通过之后点击确定,即创建成功 rds 数据源。


三、进行同步任务

1.选择来源

点击同步任务,选择向导模式,选择 rds 数据源、 oplog 表、按照业务日期进行过滤(进行增量数据同步),预览数据。

image.png

2.选择目标

下一步选择目标数据源,(在 odps 的每一个项目中,都有一个默认的 odps 数据源),选择目标表。

3.字段映射

点击下一步,会自动默认地进行一一映射。

4.通道控制,预览保存

选择通道速率,预览保存。给同步任务起名字,创建成功后提交同步任务。


四、运行数据

1.选择业务日期

进入运维中心的任务管理,通过补数据节点的方式向数据补入(方便查看数据结果)。业务日期选择5月21-5月23号。

image.png

2.查看同步状态

点击前往查看补数据结果,可看到运行。邮件点击查看节点运行日志,也可以刷新查看同步状态。

查看同步结果,5月21号、5月22号、5月23号都同步完成之后,就会有三个分区的数据表(重复刷新查看是否同步完成)。

image.png

再运行一次,即完成5条数据按3个分区进行了数据同步。

相关文章
|
4月前
|
JSON API 数据处理
Winform管理系统新飞跃:无缝集成SqlSugar与Web API,实现数据云端同步的革新之路!
【8月更文挑战第3天】在企业应用开发中,常需将Winform桌面应用扩展至支持Web API调用,实现数据云端同步。本文通过实例展示如何在已有SqlSugar为基础的Winform系统中集成HTTP客户端调用Web API。采用.NET的`HttpClient`处理请求,支持异步操作。示例包括创建HTTP辅助类封装请求逻辑及在Winform界面调用API更新UI。此外,还讨论了跨域与安全性的处理策略。这种方法提高了系统的灵活性与扩展性,便于未来的技术演进。
259 2
|
4月前
|
jenkins 持续交付
jenkins学习笔记之六:共享库方式集成构建工具
jenkins学习笔记之六:共享库方式集成构建工具
|
4月前
|
Java jenkins Shell
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
|
4月前
|
jenkins 持续交付
jenkins学习笔记之九:jenkins认证集成github
jenkins学习笔记之九:jenkins认证集成github
|
4月前
|
安全 jenkins 持续交付
jenkins学习笔记之八:jenkins认证集成gitlab
jenkins学习笔记之八:jenkins认证集成gitlab
|
4月前
|
jenkins Devops 持续交付
jenkins学习笔记之七:jenkins集成LDAP用户认证
jenkins学习笔记之七:jenkins集成LDAP用户认证
|
4月前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之如何解决datax同步任务时报错ODPS-0410042:Invalid signature value
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
5月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在使用MaxCompute进行数据集成同步到OSS时,出现表名和OSS文件名不一致且多了后缀,该如何处理
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
6月前
|
DataWorks Java 调度
DataWorks产品使用合集之进行离线同步时,如何使用DataX的Reader插件来实现源端过滤
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
72 0
DataWorks产品使用合集之进行离线同步时,如何使用DataX的Reader插件来实现源端过滤
|
6月前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之数据源同步时,使用脚本模式采集mysql数据到odps中,使用querySql方式采集数据,在脚本中删除了Reader中的column,但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误。如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

热门文章

最新文章