在数据同步过程中，需要对数据源进行一些分析。分析的过程中，要考虑数据的种类，要进行的处理，以及数据的时效性。
数据的种类
- 对于来的数据，可以分为以下几类：
insert
update
delete- 针对这三种的组合有两种：
只有insert的
insert/update/delete并存的对数据的处理
对于要进入的目的库来说，有一下处理类型：- 不处理
- 针对单表进行处理，比如数据类型转换，数据校验等
- 需要关联小表进行处理，比如码表转换
- 需要关联打标进行处理
数据同步过程中需要考虑的问题
2016-09-30
2126
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
在数据同步过程中，需要对数据源进行一些分析。分析的过程中，要考虑数据的种类，要进行的处理，以及数据的时效性。
目录
相关文章
|
7月前
|
SQL
存储
DataWorks
|
7月前
|
消息中间件
SQL
分布式计算
|
7月前
|
数据库
阿里云DTS数据迁移和数据同步的差异性分析
阿里云DTS作为一款常用的数据库表迁移工具，提供了功能非常类似的两个功能：数据迁移、数据同步。阿里云DTS产品官网对这两个功能模块进行了简单的区分：
场景1：存量数据批量迁移，建议使用数据迁移功能。
场景2：增量数据实时同步，建议使用数据同步功能。
实际上，无论是数据迁移还是数据同步，都可以做 “结构初始化”+“全量数据迁移”+“增量迁移”，因此两者功能差异并不明显。笔者在多个项目实践DTS数据迁移，在简单需求场景下，将DTS的数据迁移、数据同步进行对比和总结。
779
1
2
|
1月前
|
缓存
前端开发
安全
|
6月前
|
存储
Oracle
关系型数据库
|
7月前
|
SQL
Oracle
关系型数据库
实时计算 Flink版产品使用合集之在进行数据同步作业时，有什么方法可以用于检查源端和目标端的数据一致性
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
62
0
0
|
7月前
|
SQL
监控
Oracle
|
7月前
|
NoSQL
数据库连接
数据处理
数据传输DTS迁移问题之全量加增量发到目标库如何解决
数据传输服务（DTS）是一项专注于数据迁移和同步的云服务，在使用过程中可能遇到多种问题，本合集精选常见的DTS数据传输问题及其答疑解惑，以助用户顺利实现数据流转。
356
0
0
|
7月前
|
canal
缓存
关系型数据库
|
7月前
|
存储
NoSQL
数据库连接
热门文章
最新文章
1
手把手教你用Python实践深度学习
2
Maven之多模块打包成一个jar包及assembly
3
MS SQL 锁与事务
4
3D立方体图片切换动画
5
冒泡排序
6
应用的生命周期
7
11gR2 RAC ASM启动揭秘
8
Windows 8实用窍门系列：13.windows 8的文件.文件夹管理---2.文件以及文件夹操作
9
矿藏估价
10
如何查询全国各地公司有哪些股东（2017版）
1
「Mac畅玩鸿蒙与硬件42」UI互动应用篇19 - 数字键盘应用
34
2
赋能加速AI应用交付，F5 BIG-IP Next for Kubernetes方案解读
30
3
RAG分块策略：主流方法（递归、jina-seg）+前沿推荐（Meta-chunking、Late chunking、SLM-SFT）
30
4
Python学习的自我理解和想法（2）
30
5
Transformer图解
36
6
API安全专题：如何有效应对新型Bot攻击？
18
7
Selenium IDE：Web自动化测试的得力助手
34
8
《docker高级篇（大厂进阶）：5.Docker-compose容器编排》包括是什么能干嘛去哪下、Compose核心概念、Compose使用三个步骤、Compose常用命令、Compose编排微服务
51
9
24/7全时守护：AI视频监控技术的深度实现与应用分享
43
10
《docker高级篇（大厂进阶）：6.Docker轻量级可视化工具Portainer》
27