带你读《全链路数据治理-全域数据集成》之7:4. 实时同步附加能力

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 带你读《全链路数据治理-全域数据集成》之7:4. 实时同步附加能力

4. 实时同步附加能力


1) 监控报警配置


l 支持对业务延迟、Failover、DDL 策略、心跳检查设置监控报警。

l 支持通过邮件、短信、电话和钉钉等方式将报警信息发送给报警接收人,方

便您及时发现并处理任务异常。

l 支持报警疲劳度控制。为了避免短时间内产生大量报警,DataWorks 支持

您设置当前规则在指定时间间隔内只发送一次报警信息。


2) 断点续传配置


l 支持断点续传或从指定同步起始位置开始同步。即当您重启实时同步任务

时,支持断点续传,即您无需人工指定位点,任务将从失败位点开始读取数

据。


说明

若您需要指定源端开始同步数据的位置,实时同步也支持您指定实时同步任务同步数据的起始位置。


3) 脏数据及对任务的影响定义


l 脏数据认定标准:脏数据是对于业务没有意义,格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常,则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。大部分场景为格式非法的数据。


例如:源端是 VARCHAR 类型的数据写到 INT 类型的目标列中,导致因为转换不合理而无法写入的数据。脏数据不会成功写入目的端。您可以在同步任务配置时,控制同步过程中是否允许脏数据产生,并且支持控制脏数据条数,即当脏数据超过指定条数时,任务失败退出。


实时同步支持零容忍脏数据和不限制两种方式。


l 零容忍:即当同步过程中产生脏数据时,任务失败退出。

l 不限制:即当同步过程中产生脏数据时,同步忽略该数据继续同步。


Ø 需要注意的是,选择此项设置后会存在目标端和源端有数据不一致的可

能性,因为脏数据无法被写入目标端。

相关文章
|
1月前
|
DataWorks 安全 关系型数据库
DataWorks常见问题之使用公共数据集成资源组进行同步失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
DataWorks NoSQL MongoDB
DataWorks常见问题之如何集成离线数据
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
43 1
|
1月前
|
分布式计算 DataWorks Java
DataWorks常见问题之数据集成导出分区表的全量数据如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
35 0
|
3月前
|
DataX
datax数据推送,汉字乱码
datax数据推送,汉字乱码.
147 1
|
3月前
|
DataWorks 关系型数据库 MySQL
DataWorks的数据集成实时同步mysql数据吗?
DataWorks的数据集成实时同步mysql数据吗?
118 0
|
4月前
|
消息中间件 DataWorks NoSQL
dataworks离线数据集成,源库或目标库是MC时,走的是Tunnel? 还是走的是datax啊?
dataworks离线数据集成,源库或目标库是MC时,走的是Tunnel? 还是走的是datax啊?
111 0
|
4月前
|
数据采集 存储 自然语言处理
【数据挖掘】数据清洗、数据集成、数据标准化的详解(超详细 附源码)
【数据挖掘】数据清洗、数据集成、数据标准化的详解(超详细 附源码)
89 0
|
4月前
|
存储 DataWorks NoSQL
在DataWorks的数据集成中,对于Tablestore数据源的增量同步,你可以按照以下步骤进行配置:
在DataWorks的数据集成中,对于Tablestore数据源的增量同步,你可以按照以下步骤进行配置:
32 2
|
5月前
|
存储 监控 大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
|
6月前
|
存储 DataWorks Unix
Dataworks数据集成之“文本数据”
Dataworks不是支持文本数据导入么?为什么Excel数据不能导入?CSV文件不就是Excel文件么?关于这些问题,我整理了一篇文章进行解释。
762 2

热门文章

最新文章