带你读《全链路数据治理-全域数据集成》之3:3.数据同步增值能力

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 带你读《全链路数据治理-全域数据集成》之3:3.数据同步增值能力

3. 数据同步增值能力


除了实现不同数据源之间的同步,DataWorks 数据集成还与 DataWorks 强大的全链路数据开发治理能力融合,支持数据源开发与生产环境隔离、任务运维、数据质量监控、数据源审批策略管控、独享资源组等多项能力。


image.png


1) 支持数据源开发和生产隔离


数据同步基于数据源进行配置,配置数据源时,支持您为开发与生产环境分别配置不同的数据源地址实现开发与生产隔离。数据源开发与生产隔离及数据源管理详情


请参见:数据源开发与生产隔离


2) 独享数据集成资源组


DataWorks 数据集成同步的计费方式是按使用的资源组计费,独享数据集成组可以保证任务稳定安全可靠的执行,特别是一些耗费资源的实时同步任务,同时可以支持各类同步解决方案,帮助企业更加快速完成数据上云第一步。更多独享资源组的


介绍可参见独享数据集成资源组


3) DataWorks 运维中心-任务运行状态监控


支持对同步任务任务运行状态进行监控,包括任务未完成、出错、完成等场景的监控报警,并且支持邮件、短信、电话、钉钉群机器人WebHook 报警方式将报警信息发送给报警接收人。详情请参见:自定义规则监控报警


4) DataWorks 数据质量-表数据质量监控


部分数据源支持对同步后的数据进行数据质量监控,目前部分表支持配置数据质量校验规则,数据治理规则支持情况,详情请参见:数据质量概述


5) DataWorks 审批中心-数据集成审批策略


在 DataWorks 审批中心支持用户基于“源端-目的端”的组合定义在“保存”或“运行”数据集成任务时必须触发审批,针对数据同步过程进行更加灵活的管控,保障数据传输安全。详情请查看数据集成审批策略

相关文章
|
1月前
|
API 数据库 流计算
有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
【2月更文挑战第27天】有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
47 3
|
6月前
|
消息中间件 大数据 Kafka
多云与混合云场景下的数据同步方案-KAFKA
多云与混合云场景下的数据同步方案-KAFKA
|
2月前
|
SQL Oracle 关系型数据库
Flink CDC数据同步问题之同步数据减少如何解决
Flink CDC数据同步是指利用Flink CDC实现不同数据源之间的实时数据同步任务;本合集旨在提供Flink CDC数据同步的操作指南、性能优化建议和常见问题处理,助力用户高效实施数据同步。
|
2月前
|
存储 SQL canal
Flink CDC数据同步问题之同步数据到checkpoint失败如何解决
Flink CDC数据同步是指利用Flink CDC实现不同数据源之间的实时数据同步任务;本合集旨在提供Flink CDC数据同步的操作指南、性能优化建议和常见问题处理,助力用户高效实施数据同步。
|
2月前
|
SQL 消息中间件 关系型数据库
Flink CDC数据同步问题之向kafka同步数据报错如何解决
Flink CDC数据同步是指利用Flink CDC实现不同数据源之间的实时数据同步任务;本合集旨在提供Flink CDC数据同步的操作指南、性能优化建议和常见问题处理,助力用户高效实施数据同步。
|
3月前
|
流计算
在使用FlinkSQL进行数据同步时,创建了一个新的任务,但发现无法删除旧任务同步的历史数据
在使用FlinkSQL进行数据同步时,创建了一个新的任务,但发现无法删除旧任务同步的历史数据
|
5月前
|
分布式计算 DataWorks 关系型数据库
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute
35 1
|
5月前
|
存储 监控 大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
|
8月前
|
关系型数据库 MySQL Linux
Docker容器数据卷技术(实现数据同步)
一、什么是数据卷 数据卷是一个可供容器使用的特殊目录,它将主机操作系统目录直接映射进容器,类似于Linux中的mount操作。 数据卷可以提供很多有用的特性,如下所示:
|
11月前
|
分布式计算 DataWorks Cloud Native
带你读《全链路数据治理-全域数据集成》之1:1. 数据集成简介
带你读《全链路数据治理-全域数据集成》之1:1. 数据集成简介
399 0

热门文章

最新文章