SQL Server 多表数据增量获取和发布 1

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
日志服务 SLS,月写入数据量 50GB 1个月
简介: 功能需求:子公司统一门户系统已完成开发,安全运行一年。接到通知,总部也开发了一套统一门户,要求各子公司使用总部开发的平台,子公司领导讨论决定使用总公司开发的平台,但是也不放弃自己开发的平台,而使用一个折中的方案——使用子公司统一平台发布信息后需要将数...

功能需求:

子公司统一门户系统已完成开发,安全运行一年。接到通知,总部也开发了一套统一门户,要求各子公司使用总部开发的平台,子公司领导讨论决定使用总公司开发的平台,但是也不放弃自己开发的平台,而使用一个折中的方案——使用子公司统一平台发布信息后需要将数据同步到总公司开发的平台数据库中(时间间隔需要越短越好)

开发问题:

1、无法提供统一门户系统源码,只能提供门户表的数据字典
2、领导要求基于门户表内容进行数据变化记录功能——当数据变化(新增,编辑,删除),同步信息到总公司平台,同时本地记录变化信息(永久保存或者保存几个月)
3、需要保证同步的准确性和数据变化的实效性

开发思路:

在开发前,首先考虑的了几个问题:
1、无法获取统一门户平台源代码,哪些技术方法就不能使用
2、如何实时记录数据库表的变化信息,写一个循环服务还是有工具软件可以实现
3、用什么技术进行开发,选取什么应用作为开发模式

一、首先基于第一点,无法得到源代码,如果在有源代码的前提下,可以采取的方式为——对需要修改的表,进行代码层更改,新建一张表历史信息表,在对应增加删除修改的方法前后的前后进行日志记录。因为没有源码,服务->数据库的这条路径就走不通,只能想办法走数据库->服务这条路。

二、实时记录数据库表变化信息,通过百度找到了俩种可能实现的方式。
1、SqlDependency
SqlDependency是封装在.net framework种的一个帮助类库,可以实现对sqlserver 数据库的单表监听
好处:
1、使用简洁
2、网上资源较多
坏处:
1、版本好像只支持sqlserver 2005,太局限
2、实现逻辑太复杂,且只是对单表监控,如果要对多表,还需自己定制化修改
3、根据demo,调试运行发现无法实现监听功能(本机用的是sqlserver 2008 r2版本,估计正好和第1点对应)

2、变更数据捕获(Change Data Capture 即CDC)功能
CDC功能主要捕获SQLServer指定表的增删改操作,由于任何操作都会写日志(哪怕truncate),所以CDC的捕获来源于日志文件。日志文件会把更改应用到数据文件中,同时也会标记符合要求的数据标记为需要添加跟踪的项。然后通过一些配套函数,最后写入到数据仓库中。大概流程:


img_953aa7f22bd8ee7f9db7b6501c7bbf7e.png
cdc流程.png

好处:
1、在SQLServer2008(含)以后的企业版、开发版和评估版中可用。支持的数据库版本更多
2、网上对CDC的讲解和使用文档很多,方便学习
3、sqlserver自身的服务,安全可靠,且支持多表(只需一条配置语句),简单方便,效率高
4、方便运维

三、项目基于.Net开发,先编写一个测试demo,使用控制台程序。
大体的思路是:
建立三个类库+一个服务
模型层,公共帮助层,业务逻辑层+UI(控制台)

步骤1:基于cdc功能配置数据库需要的表,完成数据捕获功能配置。
步骤2:编写一个服务:循环秒后读取CDC新生成的数据捕获表,根据时间戳获取需要每张表的数据,将获取的数据放入一个队列中,同时将数据序列化放入日志表,设置标志位:未读状态
步骤3:开启一个方法——循环
秒读取队列中的内容,如果队列中存在值,启动事务,同时修改数据库日志表当前信息的状态位和发送信息到总公司统一门户平台

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
3天前
|
SQL 安全 数据处理
揭秘数据脱敏神器:Flink SQL的神秘力量,守护你的数据宝藏!
【9月更文挑战第7天】在大数据时代,数据管理和处理尤为重要,尤其在保障数据安全与隐私方面。本文探讨如何利用Flink SQL实现数据脱敏,为实时数据处理提供有效的隐私保护方案。数据脱敏涉及在处理、存储或传输前对敏感数据进行加密、遮蔽或替换,以遵守数据保护法规(如GDPR)。Flink SQL通过内置函数和表达式支持这一过程。
18 2
|
9天前
|
SQL 存储 数据处理
"SQL触发器实战大揭秘:一键解锁数据自动化校验与更新魔法,让数据库管理从此告别繁琐,精准高效不再是梦!"
【8月更文挑战第31天】在数据库管理中,确保数据准确性和一致性至关重要。SQL触发器能自动执行数据校验与更新,显著提升工作效率。本文通过一个员工信息表的例子,详细介绍了如何利用触发器自动设定和校验薪资,确保其符合业务规则。提供的示例代码展示了在插入新记录时如何自动检查并调整薪资,以满足最低标准。这不仅减轻了数据库管理员的负担,还提高了数据处理的准确性和效率。触发器虽强大,但也需谨慎使用,以避免复杂性和性能问题。
21 1
|
9天前
|
Java 网络架构 数据格式
Struts 2 携手 RESTful:颠覆传统,重塑Web服务新纪元的史诗级组合!
【8月更文挑战第31天】《Struts 2 与 RESTful 设计:构建现代 Web 服务》介绍如何结合 Struts 2 框架与 RESTful 设计理念,构建高效、可扩展的 Web 服务。Struts 2 的 REST 插件提供简洁的 API 和约定,使开发者能快速创建符合 REST 规范的服务接口。通过在 `struts.xml` 中配置 `<rest>` 命名空间并使用注解如 `@Action`、`@GET` 等,可轻松定义服务路径及 HTTP 方法。
24 0
|
9天前
|
测试技术 Java
全面保障Struts 2应用质量:掌握单元测试与集成测试的关键策略
【8月更文挑战第31天】Struts 2 的测试策略结合了单元测试与集成测试。单元测试聚焦于单个组件(如 Action 类)的功能验证,常用 Mockito 模拟依赖项;集成测试则关注组件间的交互,利用 Cactus 等框架确保框架拦截器和 Action 映射等按预期工作。通过确保高测试覆盖率并定期更新测试用例,可以提升应用的整体稳定性和质量。
18 0
|
9天前
|
数据库 Java 监控
Struts 2 日志管理化身神秘魔法师,洞察应用运行乾坤,演绎奇幻篇章!
【8月更文挑战第31天】在软件开发中,了解应用运行状况至关重要。日志管理作为 Struts 2 应用的关键组件,记录着每个动作和决策,如同监控摄像头,帮助我们迅速定位问题、分析性能和使用情况,为优化提供依据。Struts 2 支持多种日志框架(如 Log4j、Logback),便于配置日志级别、格式和输出位置。通过在 Action 类中添加日志记录,我们能在开发过程中获取详细信息,及时发现并解决问题。合理配置日志不仅有助于调试,还能分析用户行为,提升应用性能和稳定性。
23 0
|
9天前
|
Java 测试技术 容器
从零到英雄:Struts 2 最佳实践——你的Web应用开发超级变身指南!
【8月更文挑战第31天】《Struts 2 最佳实践:从设计到部署的全流程指南》深入介绍如何利用 Struts 2 框架从项目设计到部署的全流程。从初始化配置到采用 MVC 设计模式,再到性能优化与测试,本书详细讲解了如何构建高效、稳定的 Web 应用。通过最佳实践和代码示例,帮助读者掌握 Struts 2 的核心功能,并确保应用的安全性和可维护性。无论是在项目初期还是后期运维,本书都是不可或缺的参考指南。
18 0
|
9天前
|
测试技术 Java
揭秘Struts 2测试的秘密:如何打造无懈可击的Web应用?
【8月更文挑战第31天】在软件开发中,确保代码质量的关键在于全面测试。对于基于Struts 2框架的应用,结合单元测试与集成测试是一种有效的策略。单元测试聚焦于独立组件的功能验证,如Action类的执行逻辑;而集成测试则关注组件间的交互,确保框架各部分协同工作。使用JUnit进行单元测试,可通过简单示例验证Action类的返回值;利用Struts 2 Testing插件进行集成测试,则可模拟HTTP请求,确保Action方法正确处理请求并返回预期结果。这种结合测试的方法不仅提高了代码质量和可靠性,还保证了系统各部分按需协作。
|
9天前
|
SQL 数据库管理
|
9天前
|
SQL 数据管理 数据库
SQL中外键:维护数据完整性的关键
【8月更文挑战第31天】
24 0
下一篇
DDNS