带你读《全链路数据治理-全域数据集成》之6:3. 实时同步场景与配置

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 带你读《全链路数据治理-全域数据集成》之6:3. 实时同步场景与配置

3. 实时同步场景与配置


1) 单表 ETL 实时同步


l 将单个表或者 topic 内的数据同步到另外一个表中,整个流程支持图形化开

发无需编写代码,单表实时同步至单表时,支持使用托拽的方式实现任务开

发,业务新手也能够轻松上手。


l 单表增量数据实时同步场景下,您可以根据业务需求,对输入数据源进行数

据过滤、字符串替换和数据脱敏处理后,再将数据输出至目标数据库。


Ø 数据过滤:可以对数据进行规则过滤,例如过滤字段的大小等,符合规

则的数据才会被保留。

Ø 字符串替换:可以通过字符串替换节点替换字符串类型的字段。

Ø 数据脱敏:可以对实时同步的单表数据进行脱敏,将脱敏后的数据输出

至目标数据库。


l 具体配置方案请参考配置实时同步任务


2) 整库实时同步


l 将整个数据库的变化日志同步到目标端中,一般用作纯实时日志的收集。

l 可以一次性配置一个实例下多个库的多个表,一个任务中最多支持 3000 个

目标表。

l 具体配置方案请参考配置实时同步任务


3) 整库全增量实时同步


l 是实时同步使用最频繁的业务场景,一般用作将源端库持续不停地同步到

目标端中,以期实现目标端对于源端的镜像效果。

l 可以一次性配置一个实例下多个库的多个表,一个任务中最多支持 3000 个

目标表。

l 除了直接使用已有表作为目标表,也支持自动生成目标 schema/表,并且

可以自定义目标 schema/表名生成规则。

l 支持目标表添加附加字段,实时同步默认按照默认按照同名映射,源端同名

字段写入目标端同名字段,未映射成功的字段将不参与同步,但支持您定义

目标表字段与值。

l 数据集成实时同步在同步 MySQL、Oracle、Loghub 和 PolarDB 类型的数

据至 DataHub 或 Kafka 时,会在同步的目标端添加 5 个附加列,以进行元

数据管理、排序去重等操作。详情请参见实时同步字段格式

l 支持定义 DDL/DML 消息处理策略,为保障数据符合预期,实时同步任务支

持对不同类型的 DDL/DML 消息定义不同的处理策略。

l 具体配置方案请参考配置同步任务解决方案

相关文章
|
30天前
|
DataWorks 安全 关系型数据库
DataWorks常见问题之使用公共数据集成资源组进行同步失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
4月前
|
Java 开发工具 git
spring boot 集成 ctrip apollo 实现动态配置更新
spring boot 集成 ctrip apollo 实现动态配置更新
44 1
|
4月前
|
SQL 监控 druid
p6spy【SpringBoot集成】使用p6spy-spring-boot-starter集成p6spy监控数据库(配置方法举例)
p6spy【SpringBoot集成】使用p6spy-spring-boot-starter集成p6spy监控数据库(配置方法举例)
173 0
|
24天前
|
Devops 开发工具 数据安全/隐私保护
Docker Swarm总结+CI/CD Devops、gitlab、sonarqube以及harbor的安装集成配置(3/5)
Docker Swarm总结+CI/CD Devops、gitlab、sonarqube以及harbor的安装集成配置(3/5)
40 0
|
1月前
|
分布式计算 DataWorks Java
DataWorks常见问题之数据集成导出分区表的全量数据如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
34 0
|
2月前
|
移动开发 小程序 数据管理
9月开发者日回顾|小程序跳转接口等多个JSAPI更新,能力集成提供场景化排查工具
9月开发者日回顾|小程序跳转接口等多个JSAPI更新,能力集成提供场景化排查工具
27 0
|
2月前
|
机器学习/深度学习 人工智能 监控
SAP Sales Cloud,Service Cloud 和 SAP BTP 平台上的 AI 集成场景
SAP Sales Cloud,Service Cloud 和 SAP BTP 平台上的 AI 集成场景
64 0
|
3月前
|
IDE 前端开发 JavaScript
【C#】C# 开发环境配置(Rider 一个.NET 跨平台集成开发环境)
【1月更文挑战第26天】【C#】C# 开发环境配置(Rider 一个.NET 跨平台集成开发环境)
|
3月前
|
SQL 关系型数据库 MySQL
Apache Flink 和 Paimon 在自如数据集成场景中的使用
Apache Flink 和 Paimon 在自如数据集成场景中的使用
309 0
|
3月前
|
DataX
datax数据推送,汉字乱码
datax数据推送,汉字乱码.
144 1