开发者社区> HapplyFox> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

SQLServer CDC数据迁移和数据抽取功能介绍

简介: CDC介绍 cdc.png 为了满足数据迁移和数据抽取的业务需要,使得有机会在数据库层面上直接实现增量抽取功能,ORACLE综合性能和场景需要,在数据库引擎层面直接集成了CDC功能,由于提供了类似API的功能接口,变更数据捕获和更改跟踪均不要求在源中进行任何架构更改或使用触发器,所以比第三方工具具有一定的优势。
+关注继续查看

CDC介绍

img_953aa7f22bd8ee7f9db7b6501c7bbf7e.png
cdc.png

为了满足数据迁移和数据抽取的业务需要,使得有机会在数据库层面上直接实现增量抽取功能,ORACLE综合性能和场景需要,在数据库引擎层面直接集成了CDC功能,由于提供了类似API的功能接口,变更数据捕获和更改跟踪均不要求在源中进行任何架构更改或使用触发器,所以比第三方工具具有一定的优势。利用CDC捕获变更有以下特点:

① 性能影响小。使用异步进程捕获,通过进程读取事务日志,对系统造成的影响很小,不对业务系统造成太大的压力,影响现有业务。

② 监控范围大。对该表的所有DML和DDL操作都会被记录,有助于跟踪表的变化,实现表操作的追根溯源。

③ 操作简单 。CDC是在数据库引擎中添加的功能,封装在数据库中,类似于API接口调用,不需要复杂的业务处理逻辑就可以实现DML和DDL的操作监控。

④ 有一定时延性。由于捕获进程从事务日志中提取更改数据,因此,向源表提交更改的时间与更改出现在其关联更改表中的时间之间存在内在的延迟。 虽然这种延迟通常很小,但务必记住,在捕获进程处理相关日志项之前无法使用更改数据。

CDC注意事项

1. SQL Server的版本必须是2008或以上;

2. 不能同时使用内存优化表(SQL Server2014或以上版本才有的功能)。否则会出现以下错误:

img_6f244bebf6be3082d786071db0455d44.png
image.png
  1. @@SERVERNAME、serverproperty('servername')两者(本地服务器名和服务器实例的属性必须一致)必须一致。下面脚本可将两者调整成一致。如果执行后两者仍不一致,需要重启SQL Server服务。

if serverproperty('servername') <> @@servername
begin
declare @server sysname
set @server = @@servername
exec sp_dropserver@server =@server
set @server = cast(serverproperty('servername') as sysname)
exec sp_addserver@server = @server , @local = 'LOCAL'
PRINT 'ok'
end
select @@SERVERNAME,serverproperty('servername')

  1. 必须开启SQL Sever代理服务。CDC功能必须通过作业来实现。

  2. 开启CDC功能的表,无法使用 TRUNCATE TABLE 。可以先禁用,执行完truncate再启用cdc。

6.如果表结构发生变化,则捕获实例表中:新增列无法捕获到、删除列保持NULL、修改列类型会发生强制转换。为保险起见,应禁用捕获实例,然后再启用。

7.在查询CDC相关表时,建议加上With(NOLOCK),否则易产生阻塞或死锁。

  1. 一个表最多只能有两个捕获实例。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
查询Sqlserver数据库死锁的一个存储过程(转)
链接 :http://www.cnblogs.com/mzhanker/archive/2011/06/04/2072739.html 使用sqlserver作为数据库的应用系统,都避免不了有时候会产生死锁, 死锁出现以后,维护人员或者开发人员大多只会通过sp_who来查找死锁的进程,然后用sp_kill杀掉。
876 0
SQLSERVER如何获取一个数据库中的所有表的名称、一个表中所有字段的名称
原文 http://www.cnblogs.com/ynbt/archive/2012/07/16/2593389.html 1.查询数据库中的所有数据库名: SELECT Name FROM Master.
755 0
【20130321】sql server 2005 之后 删除数据库文件之后,在元数据里面还有
问题描述:      sql server 2005 之后 删除数据库文件之后,在元数据里面在 背景:     一般在完全恢复模式下才会出现这个问题 解决方法:      备份日志
562 0
C#各种数据库连接字符串大全——SQLServer、Oracle、Access
在这里统计了.NET项目下常用的数据库连接字符串:SQLServer、Oracle、Access三种数据库(MySql、SQLLite、Excel、HTML Table等等暂不列入)。
1651 0
Sqlserver与access数据库sql语法十大差异
ACCESS结构简单容易处理,而且也能满足多数的网站程序要求,也是初学者的试牛刀。ACCESS是小型数据库,既然是小型就有他根本的局限性: 1)、数据库过大,一般ACCESS数据库达到50M左右的时候性能会急剧下降! 2)、网站访问频繁,经常超过100人的在线时,处理速度会有影响! 3)、记录数过多,一般记录数达到10万条左右的时候性能就会急剧下降!微软公司为了与ACCESS高低搭配的一种高端方案:改用了Sqlserver,但语法会有一些差异。
777 0
java中三种主流数据库数据库(sqlserver,db2,oracle)的jdbc连接总结
原文http://www.cnblogs.com/PatrickChen/archive/2008/12/08/1350395.html 其实java开发中连接数据库的主要问题不是如何写代码,而是找驱动包。
1117 0
数据库转换工具SqlServer To Oracle DbConvert
数据库转换工具 DbConvert 1、SqlServer To Oracle 介绍:能快速把Sqlserver数据库转换到Oracle数据库 下载地址 http://www.kuaipan.cn/file/id_7540102850936839.htm 2、转换配置下载 http://www.kuaipan.cn/file/id_75401
1284 0
[推荐] (SqlServer)批量清理指定数据库中所有数据
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/chinahuyong/article/details/7205159 [推荐] (SqlServer)批量清理指定数据库中所有数据 ——通过知识共享树立个人品牌。
620 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
时序数据库TSDB新功能 - 如何用SQL进行时序查询
立即下载
云HBaseSQL及分析
立即下载
One Box:解读事务与分析一体化数据库HybridDB for MySQL
立即下载