kettle数据同步的五种方案

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:
数据同步:当数据源发生改变时,其他相关数据也跟着发展变化。根据需求不同可采取以下方案。

1.触发器

在数据库建立增删改的触发器。触发器将变更放到一张临时表里。oracle同步cdc

优点:实时同步
缺点:影响到业务系统,因为需要在业务系统建立触发器

2.日志

通过分析源数据库日志,来获得源数据库中的变化的数据。oracle异步cdc

优点:不影响业务系统
缺点:有一定得延时,对于没有提供日志分析接口的数据源,开发的难度比较大

3.时间戳

在要同步的源表里有时间戳字段,每当数据发生变化,时间戳会记录发生变化的时间

优点:基本不影响业务系统
缺点:要求源表必须有时间戳这一列

4.数据比较

通过比较两边数据源数据,来完成数据同步。一般用于实时性要求不高的场景。

优点:基本不影响业务系统
缺点:效率低

5. 全表拷贝

定时清空目的数据源,将源数据源的数据全盘拷贝到目的数据源。一般用于数据量不大,实时性要求不高的场景。

优点:基本不影响业务系统,开发、部署都很简单
缺点:效率低
总结:
1. 上面五种数据同步方式,除了第五种都需要业务表有主键。
2. 对于没有触发器和日志的一些小型数据源,如txt 文本,excel 文件,Aceess,则只能使用后三种方式。

3. 对于大型数据源,一般优先选择日志方式,如 ORCALE Asynchronized CDC, 对于不能通过日志来实现的情况,可以考虑第1,3,4种方式。

转载:http://blog.csdn.net/foreverling/article/details/10625701 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
消息中间件 大数据 Kafka
多云与混合云场景下的数据同步方案-KAFKA
多云与混合云场景下的数据同步方案-KAFKA
|
canal 监控 负载均衡
秃头也要学习的微服务进阶场景实战:基于Bifrost的数据同步方案
技术选型 项目组决定找一个开源中间件,它需要满足以下5点要求。 1)支持实时同步。 2)支持增量同步。 3)不用写业务逻辑。 4)支持MySQL之间的同步。 5)活跃度高。
|
关系型数据库 MySQL Java
对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements
对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements
|
7月前
|
canal 消息中间件 关系型数据库
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
279 0
|
7月前
|
canal 监控 关系型数据库
【技术选型】Mysql和ES数据同步方案汇总
【技术选型】Mysql和ES数据同步方案汇总
498 0
【技术选型】Mysql和ES数据同步方案汇总
|
canal SQL 消息中间件
Mysql和ES数据同步方案汇总
Mysql和ES数据同步方案汇总
307 0
|
SQL 数据采集 监控
MySQL到ClickHouse数据同步方案对比
ClickHouse在执行分析查询时的速度优势很好的弥补了MySQL的不足,但是对于很多开发者和DBA来说,如何将MySQL稳定、高效、简单的同步到ClickHouse却很困难。本文对比了NineData、MaterializeMySQL(ClickHouse自带)、Bifrost三款产品,看看他们在同步时的差异。
642 0
|
canal 关系型数据库 MySQL
MySQL数据同步到ElasticSearch数据同步方案汇总
MySQL数据同步到ElasticSearch数据同步方案汇总
611 0
|
存储
两种增量AD数据同步实现方案比较
## 背景 业务对接AD过程中,当应用程序在某个时刻点对AD中的数据进行全量同步后,我们还需要时不时的去拉取AD在后续时刻中变更过的数据,保持应用程序和AD中数据的一致性。本文对两种实现AD增量数据同步的方法进行了一个对比和分析总结,以供参考。 ## 方法一:DirSync Control方式 AD技术方案介绍文档:《[Polling for Changes Using the DirSync C
729 0
两种增量AD数据同步实现方案比较
|
canal SQL 存储
基于Canal的MySQL=>ES数据同步方案
基于Canal的MySQL=>ES数据同步方案
基于Canal的MySQL=>ES数据同步方案

热门文章

最新文章

下一篇
DataWorks