SQL Server 多表数据增量获取和发布 1

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: 功能需求:子公司统一门户系统已完成开发,安全运行一年。接到通知,总部也开发了一套统一门户,要求各子公司使用总部开发的平台,子公司领导讨论决定使用总公司开发的平台,但是也不放弃自己开发的平台,而使用一个折中的方案——使用子公司统一平台发布信息后需要将数...

功能需求:

子公司统一门户系统已完成开发,安全运行一年。接到通知,总部也开发了一套统一门户,要求各子公司使用总部开发的平台,子公司领导讨论决定使用总公司开发的平台,但是也不放弃自己开发的平台,而使用一个折中的方案——使用子公司统一平台发布信息后需要将数据同步到总公司开发的平台数据库中(时间间隔需要越短越好)

开发问题:

1、无法提供统一门户系统源码,只能提供门户表的数据字典
2、领导要求基于门户表内容进行数据变化记录功能——当数据变化(新增,编辑,删除),同步信息到总公司平台,同时本地记录变化信息(永久保存或者保存几个月)
3、需要保证同步的准确性和数据变化的实效性

开发思路:

在开发前,首先考虑的了几个问题:
1、无法获取统一门户平台源代码,哪些技术方法就不能使用
2、如何实时记录数据库表的变化信息,写一个循环服务还是有工具软件可以实现
3、用什么技术进行开发,选取什么应用作为开发模式

一、首先基于第一点,无法得到源代码,如果在有源代码的前提下,可以采取的方式为——对需要修改的表,进行代码层更改,新建一张表历史信息表,在对应增加删除修改的方法前后的前后进行日志记录。因为没有源码,服务->数据库的这条路径就走不通,只能想办法走数据库->服务这条路。

二、实时记录数据库表变化信息,通过百度找到了俩种可能实现的方式。
1、SqlDependency
SqlDependency是封装在.net framework种的一个帮助类库,可以实现对sqlserver 数据库的单表监听
好处:
1、使用简洁
2、网上资源较多
坏处:
1、版本好像只支持sqlserver 2005,太局限
2、实现逻辑太复杂,且只是对单表监控,如果要对多表,还需自己定制化修改
3、根据demo,调试运行发现无法实现监听功能(本机用的是sqlserver 2008 r2版本,估计正好和第1点对应)

2、变更数据捕获(Change Data Capture 即CDC)功能
CDC功能主要捕获SQLServer指定表的增删改操作,由于任何操作都会写日志(哪怕truncate),所以CDC的捕获来源于日志文件。日志文件会把更改应用到数据文件中,同时也会标记符合要求的数据标记为需要添加跟踪的项。然后通过一些配套函数,最后写入到数据仓库中。大概流程:


img_953aa7f22bd8ee7f9db7b6501c7bbf7e.png
cdc流程.png

好处:
1、在SQLServer2008(含)以后的企业版、开发版和评估版中可用。支持的数据库版本更多
2、网上对CDC的讲解和使用文档很多,方便学习
3、sqlserver自身的服务,安全可靠,且支持多表(只需一条配置语句),简单方便,效率高
4、方便运维

三、项目基于.Net开发,先编写一个测试demo,使用控制台程序。
大体的思路是:
建立三个类库+一个服务
模型层,公共帮助层,业务逻辑层+UI(控制台)

步骤1:基于cdc功能配置数据库需要的表,完成数据捕获功能配置。
步骤2:编写一个服务:循环秒后读取CDC新生成的数据捕获表,根据时间戳获取需要每张表的数据,将获取的数据放入一个队列中,同时将数据序列化放入日志表,设置标志位:未读状态
步骤3:开启一个方法——循环
秒读取队列中的内容,如果队列中存在值,启动事务,同时修改数据库日志表当前信息的状态位和发送信息到总公司统一门户平台

目录
相关文章
|
2月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
573 43
|
2月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
192 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
3月前
|
SQL
SQL如何只让特定列中只显示一行数据
SQL如何只让特定列中只显示一行数据
|
7月前
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
175 4
|
3月前
|
SQL
SQL中如何删除指定查询出来的数据
SQL中如何删除指定查询出来的数据
|
3月前
|
SQL 关系型数据库 MySQL
SQL如何对不同表的数据进行更新
本文介绍了如何将表A的Col1数据更新到表B的Col1中,分别提供了Microsoft SQL和MySQL的实现方法,并探讨了多表合并后更新的优化方式,如使用MERGE语句提升效率。适用于数据库数据同步与批量更新场景。
|
4月前
|
SQL DataWorks 数据管理
SQL血缘分析实战!数据人必会的3大救命场景
1. 开源工具:Apache Atlas(元数据管理)、Spline(血缘追踪) 2. 企业级方案:阿里DataWorks血缘分析、腾讯云CDW血缘引擎 3. 自研技巧:在ETL脚本中植入版本水印,用注释记录业务逻辑变更 📌 重点总结:
|
5月前
|
SQL 数据挖掘 关系型数据库
【SQL 周周练】一千条数据需要做一天,怎么用 SQL 处理电表数据(如何动态构造自然月)
题目来自于某位发帖人在某 Excel 论坛的求助,他需要将电表缴费数据按照缴费区间拆开后再按月份汇总。当时用手工处理数据,自称一千条数据就需要处理一天。我将这个问题转化为 SQL 题目。
177 12
|
5月前
|
SQL 数据采集 资源调度
【SQL 周周练】爬取短视频发现数据缺失,如何用 SQL 填充
爬虫爬取抖音和快手的短视频数据时,如果遇到数据缺失的情况,如何使用 SQL 语句完成数据的补全。
130 5
|
8月前
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
309 9