开发者社区> knightzxh> 正文

SQL Server 云下数据增量同步至阿里云 RDS for SQL Server

简介: SQLServer 云下数据增量同步至阿里云 RDS for SQLServer
+关注继续查看
近期有一个需求,将云下 SQL Server 的数据同步至云上 RDS for SQL Server。不考虑增量的话,可以直接使用 SSMS 数据库导出功能直接迁移数据到 RDS,但如果要进行增量同步的话则无法直接使用,尤
其是还要做数据过滤的场景。

那该如何解呢?可以使用 kettle 工作来做增量的插入、更新及删除,以达到增量同步的效果。具体操作步骤参考如下:

1. 前期准备
安装 Java 及配置 JAVA_HOME
安装 Kettle

2. 配置源数据库
新建转换。新建一个转换任务,“文件”-->“新建”-->“转换”
9b2a0adf3fcb8f942bb85d8033fd086047fc81d0

新建表输入。在“核心对象”-->“输入”-->“表输入”,将“表输入”图标直接拖拽到右侧区域
cf2d3369451b4e948764d970c2ea5d4ecb2ac654

配置表输入。双击“表输入”图标,进入配置界面,步骤名称默认即可,数据连接就是选择你的源数据库,这里没有进行过配置,所以点击“新建”进行 SQL Server 源数据库连接配置
eebdb3874c67ef61bc5821c0fbcc560700a0de49

配置数据库连接。按照向导进行数据连接配置。
d65a46bf542f7305d6304e5619fce83af7d30c57

选择源表。点击“获取SQL查询语句”,在弹出的窗口中选择要进行数据传输的table,点击“确定”即可完成“表输入”配置。
7f2b9031491679265ff74f1917615aa5c8e79e96

3. 配置字段选择
新建“字段选择”。在模块化区选择“转换”-->“字段选择”,双击字段选择即可建立连接。
4639bcce968663066f029f75b0d773beccb77c69

配置字段。双击“字段选择”图标打开配置界面。
f05c1a57eccf851d25f2dd10a12b7fa3cfb2546e

4. 配置目标数据库
新建“插入/更新”。双击“输出”--“插入/更新”建立连接。
ef203a3e9fd0154f8afd3764ef62ac920e343d73

配置“插入/更新”。
双击“插入/更新“图标,新建目标数据库连接,并按照向导完成配置。
4e45c6607f184543fa33c3dbfa3bed8c0b5d2cc4

5. 测试运行
74375b75f5825e9bf4beecd864c5a2cbedbd84d2

当然,每次同步数据量大的话会花费很长时间,可以使用时间戳来进行过滤,选取最近变更的记录,减少 kettle 读取的记录数,降低同步时间。

至于 delete 操作的同步,可以使用记录标记来解决。kettle 也提供的删除步骤,有兴趣的可以自己研究一下。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
xDB Replication Server - PostgreSQL, Oracle, SQL Server, PPAS 全量、增量(redo log based, or trigger based)同步(支持single-master, mult-master同步, 支持DDL)
xDB Replication Server - PostgreSQL, Oracle, SQL Server, PPAS 全量、增量(redo log based, or trigger based)同步(支持single-master, mult-master同步, 支持DDL)
431 0
阿里云开源 image-syncer 工具,容器镜像迁移同步的终极利器
为什么要做这个工具? 由于阿里云上的容器服务 ACK 在使用成本、运维成本、方便性、长期稳定性上大大超过公司自建自维护 Kubernets 集群,有不少公司纷纷想把之前自己维护 Kubernetes 负载迁移到阿里云 ACK 服务上。
3691 0
MySQL到Elasticsearch数据同步
MySQL数据同步Elasticsearch方案
4436 0
使用DTS从RDS PG实时同步数据到AnalyticDB for PostgreSQL
DTS支持从RDS PG将数据实时同步到AnalyticDB for PG,用户可以很方便的搭建起RDS PG到AnalyticDB for PG的数据同步,轻松实现数据的流转和复杂查询的优化。 使用DTS的前提条件 要求同步的数据表,必须建有主键(通过主键来保证源端和目标端表记录一致性)。
2475 0
基于大数据开发套件的增量同步策略
因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候,对如何设置数据同步策略有疑惑,所以今天第一波我们来聊一下数据的同步策略,根据数据的特性,看看哪些数据适合增量同步,哪些适合全量同步,又是如何实现的?请认真看完下面的介绍,这些问题都不是事儿。
4437 0
通过SQL Server 2008数据库复制实现数据库同步备份
原文 通过SQL Server 2008数据库复制实现数据库同步备份 SQL Server 2008数据库复制是通过发布/订阅的机制进行多台服务器之间的数据同步,我们把它用于数据库的同步备份。这里的同步备份指的是备份服务器与主服务器进行 实时数据同步,正常情况下只使用主数据库服务器,备份服务器只在主服务器出现故障时投入使用。
1544 0
Synology群晖DS916+上启用阿里云同步CloudSync,备份资料就是爽!
有了她,再也不用担心数据没有及时备份了,群晖推出Cloud Sync,群晖+阿里云对象存储,建立完备、廉价的信息备份方案!
20941 0
Oracle 数据库增量备份周计划脚本
####------------------------------------------------------------------------------#### ##    shell db_incremental_database_backup.
1208 0
+关注
12
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载