10. 离线同步附加能力

1) 字段映射关系与赋值

在同步任务配置过程中，您可通过字段映射，来定义源端字段与目标端字段的读取和写入关系，源端某字段数据将会根据字段映射关系写入目标端对应类型的字段中。

支持多种字段映射方式：向导模式默认同名映射、脚本模式默认脚标映射；向导模式支持同行映射；并支持自定义所有字段或部分字段的字段关系。

目标表字段赋值：支持赋值常量，赋值变量（支持使用调度参数，关系型数据库支持使用函数），支持编辑源端字段，例如通过 max(id)控制获取到的字段返回值。

2) 作业速率上限控制

您可通过界面通道配置，控制数据同步过程相关属性。

l 支持通过并发控制来限制数据集成读取和写入数据库的最大并发数。

l 支持通过限流控制来保护数据库读写压力。在不限流的情况下，任务将在所

配置的并发数的限制基础上，提供现有硬件环境下最大的传输性能。

3) 分布式模式执行任务

部分数据源支持分布式模式执行任务，分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。如果您对于同步性能有比较高的诉求可以使用分布式模式。 另外分布式模式也可以使用机器的碎片资源，对资源利用率友好。

说明：具体数据源是否支持分布式执行详情请参见各插件文档。

4) 脏数据个数控制及定义其对任务影响（脏数据检查规则）

数据集成默认允许脏数据产生，支持您对同步过程产出的脏数据个数设置阈值，定义其影响，即当脏数据产生或产生多少条时，任务失败退出。

l 脏数据认定标准：脏数据是对于业务没有意义，格式非法或者同步过程中出

现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为

脏数据。因此只要是写入失败的数据均被归类于脏数据。大部分场景为格式

非法的数据。

例如，源端是 VARCHAR 类型的数据写到 INT 类型的目标列中，导致因为转换不合理而无法写入的数据。脏数据不会成功写入目的端。您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数，即当脏数据超过指定条数时，任务失败退出。