数据同步过程中需要考虑的问题

简介: 在数据同步过程中,需要对数据源进行一些分析。分析的过程中,要考虑数据的种类,要进行的处理,以及数据的时效性。

在数据同步过程中,需要对数据源进行一些分析。分析的过程中,要考虑数据的种类,要进行的处理,以及数据的时效性。

数据的种类

  • 对于来的数据,可以分为以下几类:

insert
update
delete
  • 针对这三种的组合有两种:
只有insert的
insert/update/delete并存的

对数据的处理

对于要进入的目的库来说,有一下处理类型:
  • 不处理
  • 针对单表进行处理,比如数据类型转换,数据校验等
  • 需要关联小表进行处理,比如码表转换
  • 需要关联打标进行处理

时效的要求

抽取数据、处理数据 、导入数据都需要时间,在满足不同的时效,应该如何处理
相关文章
|
4月前
|
消息中间件 SQL 分布式计算
一篇文章搞定数据同步工具SeaTunnel
一篇文章搞定数据同步工具SeaTunnel
546 0
|
1月前
|
数据采集 缓存 搜索推荐
数据同步问题
数据同步问题
24 1
|
2月前
|
SQL 监控 Oracle
增量数据同步验证
增量数据同步验证
35 3
|
3月前
|
存储 NoSQL 数据库连接
Redis主从模式以及数据同步原理:全量数据同步、增量数据同步
Redis主从模式以及数据同步原理:全量数据同步、增量数据同步
189 0
|
8月前
|
消息中间件 canal SQL
4、离线数仓数据同步策略(全量表数据同步、增量表数据同步、首日同步、采集通道脚本)(一)
4、离线数仓数据同步策略(全量表数据同步、增量表数据同步、首日同步、采集通道脚本)(一)
|
8月前
|
SQL 消息中间件 JSON
4、离线数仓数据同步策略(全量表数据同步、增量表数据同步、首日同步、采集通道脚本)(二)
4、离线数仓数据同步策略(全量表数据同步、增量表数据同步、首日同步、采集通道脚本)(二)
|
10月前
|
关系型数据库 MySQL 数据库
数据同步系统
数据同步系统
105 2
|
NoSQL 网络协议 Redis
主从复制-数据同步阶段注意事项|学习笔记
快速学习主从复制-数据同步阶段注意事项
68 0
|
运维 分布式计算 关系型数据库
数据集成-增量同步 | 学习笔记
快速学习数据集成-增量同步
120 0
数据集成-增量同步 | 学习笔记
|
canal SQL 监控
Canal 数据同步(最终测试) | 学习笔记
快速学习 Canal 数据同步(最终测试)
150 0