SQL Server 多表数据增量获取和发布 2.2

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
简介: 数据库环境:1、SQLServer 2008R22、SQLServer 代理打开一、新建一个数据库创建数据库 Incremental_DBimage.

数据库环境:
1、SQLServer 2008R2
2、SQLServer 代理打开

一、新建一个数据库

创建数据库 Incremental_DB


img_384307952ad1df19ba38237b61252361.png
image.png

二、创建俩张测试表


数据库脚本链接


--创建用户表
CREATE TABLE [dbo].[Person](
    [Id] [INT] IDENTITY(1,1) NOT NULL,
    [Name] [NVARCHAR](120) NULL,
    [Age] [INT] NULL,
 CONSTRAINT [PK_Demo] PRIMARY KEY CLUSTERED 
(
    [Id] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
) ON [PRIMARY]

--创建部门表
CREATE TABLE [dbo].[Department](
    [Id] [INT] IDENTITY(1,1) NOT NULL,
    [Name] [NVARCHAR](50) NULL,
 CONSTRAINT [PK_Department] PRIMARY KEY CLUSTERED 
(
    [Id] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
) ON [PRIMARY]

三、实现数据变更捕获

一、对目标库显式启用CDC

USE Incremental_DB
GO
EXECUTE sys.sp_cdc_enable_db;
GO

查看是否启用CDC

SELECT  is_cdc_enabled,CASE WHE is_cdc_enabled=0 THEN 'CDC功能禁用'ELSE 'CDC功能启用'END [描述]
FROM    sys.databases
WHERE   [name]='Incremental_DB'

创建成功后,会在测试库自动添加CDC用户和架构


img_f23b5126137fee2873ac6555c57cb5b6.png
image.png

二、对目标库数据表显式启用CDC

USE Incremental_DB

EXECUTE sys.sp_cdc_enable_table
    @source_schema = N'dbo'--架构名称
  , @source_name = N'Department'--表名称
  , @role_name = 'cdc_Admin'--会自动生成自定义 'cdc_Admin' 角色 如果不想控制访问角色,则@role_name必须显式设置为null
  , @capture_instance=NULL

EXECUTE sys.sp_cdc_enable_table
    @source_schema = N'dbo'--架构名称
  , @source_name = N'Person'--表名称
  , @role_name = 'cdc_Admin'--会自动生成自定义 'cdc_Admin' 角色 如果不想控制访问角色,则@role_name必须显式设置为null
  , @capture_instance=NULL

语句执行成功后在系统表中生成俩张变化表

img_263df0d927128f5f9fbd082ec9093290.png
新增表.png

数据库可编程性中增加俩个函数


img_e712ead50367bc79b8fdcfda3eaf60cb.png
新增函数.png

同时SQLServer 代理中新增俩个作业

  • capture(捕获作业)
  • clean(清理作业)


    img_0c6f6322e13940837179d8777b1a397b.png
    新增作业.png

如果出现如下错误,请参考上一篇文章CDC注意事项第三点

img_15395ef0b8f908ceeaf17cec6ea0d739.png
image.png

验证数据表是否启用CDC

USE Incremental_DB
--查看是否已启用:
SELECT  name ,
        is_tracked_by_cdc ,
        CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用'
             ELSE 'CDC功能启用'
        END 描述
FROM    sys.tables
WHERE   OBJECT_ID IN(OBJECT_ID('Person'),OBJECT_ID('Department'))

四、禁用数据库或数据表CDC功能

禁用数据表CDC

--禁用人员表CDC功能
EXECUTE sys.sp_cdc_disable_table 
    @source_schema = N'dbo', 
    @source_name = N'Person',
    @capture_instance = 'dbo_Person'

禁用后系统表中原来的dbo_Person_CT表被删除,函数删除等


img_b61b2e515c465cbad05aade6507edb16.png
禁用后系统表截图.png

禁用数据库CDC

EXEC sys.sp_cdc_disable_db 
目录
相关文章
|
1月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
460 43
|
1月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
153 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
2月前
|
SQL
SQL如何只让特定列中只显示一行数据
SQL如何只让特定列中只显示一行数据
|
6月前
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
160 4
|
2月前
|
SQL
SQL中如何删除指定查询出来的数据
SQL中如何删除指定查询出来的数据
|
2月前
|
SQL 关系型数据库 MySQL
SQL如何对不同表的数据进行更新
本文介绍了如何将表A的Col1数据更新到表B的Col1中,分别提供了Microsoft SQL和MySQL的实现方法,并探讨了多表合并后更新的优化方式,如使用MERGE语句提升效率。适用于数据库数据同步与批量更新场景。
|
3月前
|
SQL DataWorks 数据管理
SQL血缘分析实战!数据人必会的3大救命场景
1. 开源工具:Apache Atlas(元数据管理)、Spline(血缘追踪) 2. 企业级方案:阿里DataWorks血缘分析、腾讯云CDW血缘引擎 3. 自研技巧:在ETL脚本中植入版本水印,用注释记录业务逻辑变更 📌 重点总结:
|
4月前
|
SQL 数据挖掘 关系型数据库
【SQL 周周练】一千条数据需要做一天,怎么用 SQL 处理电表数据(如何动态构造自然月)
题目来自于某位发帖人在某 Excel 论坛的求助,他需要将电表缴费数据按照缴费区间拆开后再按月份汇总。当时用手工处理数据,自称一千条数据就需要处理一天。我将这个问题转化为 SQL 题目。
168 12
|
4月前
|
SQL 数据采集 资源调度
【SQL 周周练】爬取短视频发现数据缺失,如何用 SQL 填充
爬虫爬取抖音和快手的短视频数据时,如果遇到数据缺失的情况,如何使用 SQL 语句完成数据的补全。
114 5
|
7月前
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
258 9