4. 实时同步附加能力
1) 监控报警配置
l 支持对业务延迟、Failover、DDL 策略、心跳检查设置监控报警。
l 支持通过邮件、短信、电话和钉钉等方式将报警信息发送给报警接收人,方
便您及时发现并处理任务异常。
l 支持报警疲劳度控制。为了避免短时间内产生大量报警,DataWorks 支持
您设置当前规则在指定时间间隔内只发送一次报警信息。
2) 断点续传配置
l 支持断点续传或从指定同步起始位置开始同步。即当您重启实时同步任务
时,支持断点续传,即您无需人工指定位点,任务将从失败位点开始读取数
据。
说明:
若您需要指定源端开始同步数据的位置,实时同步也支持您指定实时同步任务同步数据的起始位置。
3) 脏数据及对任务的影响定义
l 脏数据认定标准:脏数据是对于业务没有意义,格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常,则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。大部分场景为格式非法的数据。
例如:源端是 VARCHAR 类型的数据写到 INT 类型的目标列中,导致因为转换不合理而无法写入的数据。脏数据不会成功写入目的端。您可以在同步任务配置时,控制同步过程中是否允许脏数据产生,并且支持控制脏数据条数,即当脏数据超过指定条数时,任务失败退出。
实时同步支持零容忍脏数据和不限制两种方式。
l 零容忍:即当同步过程中产生脏数据时,任务失败退出。
l 不限制:即当同步过程中产生脏数据时,同步忽略该数据继续同步。
Ø 需要注意的是,选择此项设置后会存在目标端和源端有数据不一致的可
能性,因为脏数据无法被写入目标端。