3. 实时同步场景与配置

1) 单表 ETL 实时同步

l 将单个表或者 topic 内的数据同步到另外一个表中，整个流程支持图形化开

发无需编写代码，单表实时同步至单表时，支持使用托拽的方式实现任务开

发，业务新手也能够轻松上手。

l 单表增量数据实时同步场景下，您可以根据业务需求，对输入数据源进行数

据过滤、字符串替换和数据脱敏处理后，再将数据输出至目标数据库。

Ø 数据过滤：可以对数据进行规则过滤，例如过滤字段的大小等，符合规

则的数据才会被保留。

Ø 字符串替换：可以通过字符串替换节点替换字符串类型的字段。

Ø 数据脱敏：可以对实时同步的单表数据进行脱敏，将脱敏后的数据输出

至目标数据库。

l 具体配置方案请参考配置实时同步任务。

2) 整库实时同步

l 将整个数据库的变化日志同步到目标端中，一般用作纯实时日志的收集。

l 可以一次性配置一个实例下多个库的多个表，一个任务中最多支持 3000 个

目标表。

l 具体配置方案请参考配置实时同步任务。

3) 整库全增量实时同步

l 是实时同步使用最频繁的业务场景，一般用作将源端库持续不停地同步到

目标端中，以期实现目标端对于源端的镜像效果。

l 可以一次性配置一个实例下多个库的多个表，一个任务中最多支持 3000 个

目标表。

l 除了直接使用已有表作为目标表，也支持自动生成目标 schema/表，并且

可以自定义目标 schema/表名生成规则。

l 支持目标表添加附加字段，实时同步默认按照默认按照同名映射，源端同名

字段写入目标端同名字段，未映射成功的字段将不参与同步，但支持您定义

目标表字段与值。

l 数据集成实时同步在同步 MySQL、Oracle、Loghub 和 PolarDB 类型的数

据至 DataHub 或 Kafka 时，会在同步的目标端添加 5 个附加列，以进行元

数据管理、排序去重等操作。详情请参见实时同步字段格式。

l 支持定义 DDL/DML 消息处理策略，为保障数据符合预期，实时同步任务支

持对不同类型的 DDL/DML 消息定义不同的处理策略。

l 具体配置方案请参考配置同步任务解决方案。