SQLServer CDC数据迁移和数据抽取功能介绍 2

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
简介: 数据库环境:1、SQLServer 2008R22、SQLServer 代理打开一、新建一个数据库创建数据库 Incremental_DBimage.

数据库环境:
1、SQLServer 2008R2
2、SQLServer 代理打开

一、新建一个数据库

创建数据库 Incremental_DB


img_384307952ad1df19ba38237b61252361.png
image.png

二、创建俩张测试表


数据库脚本链接


--创建用户表
CREATE TABLE [dbo].[Person](
    [Id] [INT] IDENTITY(1,1) NOT NULL,
    [Name] [NVARCHAR](120) NULL,
    [Age] [INT] NULL,
 CONSTRAINT [PK_Demo] PRIMARY KEY CLUSTERED 
(
    [Id] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
) ON [PRIMARY]

--创建部门表
CREATE TABLE [dbo].[Department](
    [Id] [INT] IDENTITY(1,1) NOT NULL,
    [Name] [NVARCHAR](50) NULL,
 CONSTRAINT [PK_Department] PRIMARY KEY CLUSTERED 
(
    [Id] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
) ON [PRIMARY]

三、实现数据变更捕获

一、对目标库显式启用CDC

USE Incremental_DB
GO
EXECUTE sys.sp_cdc_enable_db;
GO

查看是否启用CDC

SELECT  is_cdc_enabled,CASE WHE is_cdc_enabled=0 THEN 'CDC功能禁用'ELSE 'CDC功能启用'END [描述]
FROM    sys.databases
WHERE   [name]='Incremental_DB'

创建成功后,会在测试库自动添加CDC用户和架构


img_f23b5126137fee2873ac6555c57cb5b6.png
image.png

二、对目标库数据表显式启用CDC

USE Incremental_DB

EXECUTE sys.sp_cdc_enable_table
    @source_schema = N'dbo'--架构名称
  , @source_name = N'Department'--表名称
  , @role_name = 'cdc_Admin'--会自动生成自定义 'cdc_Admin' 角色 如果不想控制访问角色,则@role_name必须显式设置为null
  , @capture_instance=NULL

EXECUTE sys.sp_cdc_enable_table
    @source_schema = N'dbo'--架构名称
  , @source_name = N'Person'--表名称
  , @role_name = 'cdc_Admin'--会自动生成自定义 'cdc_Admin' 角色 如果不想控制访问角色,则@role_name必须显式设置为null
  , @capture_instance=NULL

语句执行成功后在系统表中生成俩张变化表

img_263df0d927128f5f9fbd082ec9093290.png
新增表.png

数据库可编程性中增加俩个函数


img_e712ead50367bc79b8fdcfda3eaf60cb.png
新增函数.png

同时SQLServer 代理中新增俩个作业

  • capture(捕获作业)
  • clean(清理作业)


    img_0c6f6322e13940837179d8777b1a397b.png
    新增作业.png

如果出现如下错误,请参考上一篇文章CDC注意事项第三点

img_15395ef0b8f908ceeaf17cec6ea0d739.png
image.png

验证数据表是否启用CDC

USE Incremental_DB
--查看是否已启用:
SELECT  name ,
        is_tracked_by_cdc ,
        CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用'
             ELSE 'CDC功能启用'
        END 描述
FROM    sys.tables
WHERE   OBJECT_ID IN(OBJECT_ID('Person'),OBJECT_ID('Department'))

四、禁用数据库或数据表CDC功能

禁用数据表CDC

--禁用人员表CDC功能
EXECUTE sys.sp_cdc_disable_table 
    @source_schema = N'dbo', 
    @source_name = N'Person',
    @capture_instance = 'dbo_Person'

禁用后系统表中原来的dbo_Person_CT表被删除,函数删除等


img_b61b2e515c465cbad05aade6507edb16.png
禁用后系统表截图.png

禁用数据库CDC

EXEC sys.sp_cdc_disable_db 
相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
3月前
|
SQL 流计算
Flink CDC 1.12版本引入了对SQL Server的支持
【1月更文挑战第26天】【1月更文挑战第124篇】Flink CDC 1.12版本引入了对SQL Server的支持
33 1
|
6月前
|
存储
SQLServer分页获取数据的存储过程
SQLServer分页获取数据的存储过程
24 0
|
4月前
|
SQL 数据库 数据安全/隐私保护
SQL Server 数据操控,视图和索引
SQL Server 数据操控,视图和索引
96 0
|
4月前
|
SQL 关系型数据库 MySQL
使用Flink CDC从SQL Server同步数据到MySQL
使用Flink CDC从SQL Server同步数据到MySQL
148 1
|
1月前
|
SQL 关系型数据库 数据库
Flink CDC产品常见问题之SQLserver cdc 开启 cdc表没有记录如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
9月前
|
SQL 数据库
数据库SQL Server 6-7 章(数据与操作查询)
数据库SQL Server 6-7 章(数据与操作查询)
111 0
|
4月前
|
SQL 关系型数据库 MySQL
这个错误可能是由于Flink CDC在处理MySQL和SQL Server之间的数据同步时遇到了问题
这个错误可能是由于Flink CDC在处理MySQL和SQL Server之间的数据同步时遇到了问题
73 1
|
4月前
|
SQL 存储 数据库
flink sqlserver cdc实时同步(含sqlserver安装配置等)
flink sqlserver cdc实时同步(含sqlserver安装配置等)
289 0
|
5月前
|
SQL 流计算
这个问题可能与Flink CDC SQL server2016和CDC2.4.1的工作原理有关
这个问题可能与Flink CDC SQL server2016和CDC2.4.1的工作原理有关
32 6
|
9月前
|
SQL 存储 数据库
flink sqlserver cdc实时同步(含sqlserver安装配置等)
超详细讲解flink sqlserver cdc实时同步(含sqlserver安装配置等)
507 0
flink sqlserver cdc实时同步(含sqlserver安装配置等)