SQL Server 多表数据增量获取和发布 3

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
简介: 程序结构新建一个窗体应用程序,新增三个类库,实现各个层次责任分离BLL 业务逻辑层Common 公共帮助类层Models 模型层SqlMonitoring SQL监视器程序image.png程序设计思路大概的设计思路是这样的:1、因为是多表数据增量获取,首先通过配置CDC已经完成多表的捕获配置。

程序结构

新建一个窗体应用程序,新增三个类库,实现各个层次责任分离

  • BLL 业务逻辑层
  • Common 公共帮助类层
  • Models 模型层
  • SqlMonitoring SQL监视器程序
img_5de3d43facb3bebefcba290c8365c19e.png
image.png

程序设计思路

大概的设计思路是这样的:
1、因为是多表数据增量获取,首先通过配置CDC已经完成多表的捕获配置。
通过CDC实现了数据的捕获,我们需要开一个服务,循环读取捕获表的内容(通过时间戳字段),因为使用时间戳,所以需要对每次的时间进行保存,方便下一次获取数据区间做判断条件。
因此设计一张数据表时间戳记录表,数据结构如下

时间记录表数据结构
主键,架构名,表名称,上次更新时间

img_5d8b32a3bb19afd2bf461923649fdd15.png
image.png
img_999d8ec1ec07eca9032e4932477a7ebd.png
image.png

2、根据时间戳循环读取多表数据,将数据放入队列中。
3、在开启一个服务,循环读取队列里面的数据,为了保证数据有效性,将队列中的数据传送给服务接口的时候还要再本地同时进行备份的保存,只有当数据服务返回正确值得时候,更改日志表的状态位。

日志记录表数据结构
主键,时间节点,序列化数据,状态位

img_73a5c0083466d745135cf1066860b3a5.png
image.png
img_43cf355695652d77306b866e039e0b4d.png
image.png

重点
如果需要更新状态位,那么需要一个标识位来判断,那么这个标识位是什么。大家可以猜一猜,答案就是UpdateTime字段。
数据库CDC数据捕获的时间精确到毫秒三位,可以保证一般系统数据唯一性,队列中存在当前字段,将当前字段作为标识来更新日志记录表的状态位。

目录
相关文章
|
4月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
809 43
|
4月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
294 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
5月前
|
SQL
SQL如何只让特定列中只显示一行数据
SQL如何只让特定列中只显示一行数据
|
9月前
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
233 4
|
5月前
|
SQL
SQL中如何删除指定查询出来的数据
SQL中如何删除指定查询出来的数据
|
5月前
|
SQL 关系型数据库 MySQL
SQL如何对不同表的数据进行更新
本文介绍了如何将表A的Col1数据更新到表B的Col1中,分别提供了Microsoft SQL和MySQL的实现方法,并探讨了多表合并后更新的优化方式,如使用MERGE语句提升效率。适用于数据库数据同步与批量更新场景。
|
7月前
|
SQL 数据挖掘 关系型数据库
【SQL 周周练】一千条数据需要做一天,怎么用 SQL 处理电表数据(如何动态构造自然月)
题目来自于某位发帖人在某 Excel 论坛的求助,他需要将电表缴费数据按照缴费区间拆开后再按月份汇总。当时用手工处理数据,自称一千条数据就需要处理一天。我将这个问题转化为 SQL 题目。
257 12
|
6月前
|
SQL DataWorks 数据管理
SQL血缘分析实战!数据人必会的3大救命场景
1. 开源工具:Apache Atlas(元数据管理)、Spline(血缘追踪) 2. 企业级方案:阿里DataWorks血缘分析、腾讯云CDW血缘引擎 3. 自研技巧:在ETL脚本中植入版本水印,用注释记录业务逻辑变更 📌 重点总结:
|
7月前
|
SQL 数据采集 资源调度
【SQL 周周练】爬取短视频发现数据缺失,如何用 SQL 填充
爬虫爬取抖音和快手的短视频数据时,如果遇到数据缺失的情况,如何使用 SQL 语句完成数据的补全。
177 5
|
10月前
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
452 9