一起谈.NET技术,基于SQL Server 2008 Service Broker构建企业级消息系统

简介:   1、引言  Microsoft 在SQL Server 2005引入了服务代理 (Service Broker 简称SSB) 为技术支持代理设计模式和面向消息的中间件 (MOM) 的原则。Service Broker在SQL Server 2008上得到完善, SQL Server Service Broker 为消息和队列应用程序提供 SQL Server 数据库引擎本机支持。

  1、引言

  Microsoft 在SQL Server 2005引入了服务代理 (Service Broker 简称SSB) 为技术支持代理设计模式和面向消息的中间件 (MOM) 的原则。Service Broker在SQL Server 2008上得到完善, SQL Server Service Broker 为消息和队列应用程序提供 SQL Server 数据库引擎本机支持。

  这使开发人员可以轻松地创建使用数据库引擎组件在完全不同的数据库之间进行通信的复杂应用程序。开发人员可以使用 Service Broker 轻松生成可靠的分布式应用程序。使用 Service Broker 的应用程序开发人员无需编写复杂的内部通信和消息,即可跨多个数据库分发数据工作负荷。因为 Service Broker 会处理会话上下文中的通信路径,所以这就减少了开发和测试工作。同时还提高了性能。

  企业系统和网站系统都需要处理大量的邮件、短信等消息通知系统。在进行系统设计时,除了对安全、事务等问题给与足够的重视外,性能也是一个不可避免的问题所在,必须充分地考虑访问量、数据流量、服务器负荷的问题。解决性能的瓶颈,除了对硬件系统进行升级外,软件设计的合理性尤为重要。对于一些实时性不是很高的模块我们可以使用了消息队列技术来完成异步处理,利用消息队列临时存放要操作的数据,将队列的数据进行异步的处理。本文基于SQL Server 2008 Service Broker、WCF、Windows 服务以及调度框架Quartz.NET实现一个消息通知系统。

  2、消息队列

  2.1 队列在异步运作的架构中是非常常用的数据结构

  基于消息的应用程序的工作方式是提交一条消息,应用程序执行其工作。然后,再检查看是否收到确认消息已得到处理的信息。如果你的应用程序充满了待处理的请求,通常应该增加另外一条处理队列来缓解系统的总体处理压力。

  微软消息队列(MSMQ)提供一个开发这类应用程序的框架。它使得应用程序可以在不同种类的网络间进行通信,并且需要保证消息传送(guaranteed message delivery)、路由和可配置安全。过去20年来,我们对关系数据库系统的依赖程度显著增加。最初,存储数据并对数据进行某种处理,是建立商业关系数据库系统的主要目的。随着关系数据库系统的发展,其功能和复杂性的变化,它的主要用途已由单一数据存储转变为更加主流的商业智能目的、更加复杂的ETL处理、数据报告、数据通知;微软认为,允许你在数据库内建立基于消息的应用程序,这样才有意义。

  Service Broker是SQL Server 2005中新添加的基础程序,在SQL Server 2008上得到加强,主要用于在数据库引擎内建立基于消息的应用程序。SQL Server Service Broker是以数据表来实现队列,并提供标准的T-SQL操作方式,让系统设计人员可以善用消息沟通的特色设计应用程序。Service Broker应用程序以松散连接的应用程序而开发,它具有高度可扩展性,并提供其它消息平台所不具备的功能,如消息组协调和锁定。这些应用程序充分支持事务,并能够跨越数据库实例和服务器。SQL Server 2008 Service Broker支持的消息可以达到2G,支持SQL的varbinary 和varbinary(max)数据类型,支持消息优先级,而且“饥饿机制”保障较低优先级的消息也有机会获得发送。

  2.2 消息系统架构

  消息的整体架构上分为三部分,消息系统客户端,消息队列系统,消息队列发送程序,序列图如下:

客户端准备好消息,通过消息客户端接口发送到消息队列系统,消息队列发送程序定时轮询获取消息进行发送,发  送的过程中发生错误重新放入队列,发送成功的队列归档到消息数据库。以邮件发送为例在具体的实现的流程如下:

  上述多个部分协作,共同完成消息的发送任务,在本实现方案总共有六个部分,以下对这几个部分进行详细描述。

  1、消息体MessageBase

  自定义消息体的好处很多,采用自己定义的格式可以节省通信的传递量等等,也是这个消息系统的消息合约。

  上面图中我们可以看到我们定义了3种常见的消息类型:邮件、短信和RTX(腾讯通RTX是腾讯公司推出的企业级即时通信平台),可以根据需要灵活的扩展企业消息的类型。

  2、客户端组件

  客户端组件负责验证消息和将消息输入消息队列系统,为了支持在整个企业环境提供服务,采用WCF方式发布,采用TCP和SOAP方式发布,TCP方式的客户端通过.NET组件包发布,另外通过SOAP方式发布的标准Web Service支持其他跨平台(C++/Java/PHP/Python/Ruby)的调用,同时为调用进行服务的验证,需要使用消息服务的业务系统首先需要在系统中注册,获得服务调用的appkey,通过SOAP Header进行传递,服务端依据系统的注册信息(appkey和注册的系统服务器IP)进行验证。

  3、SQL Server 2008 Service Broker队列系统

  SQL Server 2008 Service Broker支持会话优先级,可以支持1到10的10个优先级,为目标服务创建10个优先级,只有一个约定,但每个级别都有单独的发起方服务。所有发起方服务都与一个中心目标服务通信。在系统的中分配了高(8)中(5)低(2)三个优先级,消息也有一个优先级高(1)中(0)低(-1),进入消息系统的优先级等于系统优先级+消息优先级,这样就使用了1-9优先级,10优先级为系统保留优先级,这样就可有效的利用Service Broker的优先级和控制业务系统对消息优先级的使用。

  4、消息处理器

  消息处理器从队列中取出消息,进行发送处理,发送失败的消息重新放回队列,并增加重试次数计数,当重试计数超过最大的重试次数,进行归档处理,发送成功的消息进行归档处理。每个月的数据分表存储,避免数据量过大的系统性能损耗。

  5、消息队列调度器

  消息队列的调度采用Windows 服务承载,使用Quartz.NET进行作业的调度。Quartz.NET是一个开源的作业调度框架,是OpenSymphony 的 Quartz API的.NET移植,它用C#写成,项目地址是http://quartznet.sourceforge.net。它提供了巨大的灵活性而不牺牲简单性。你能够用它来为执行一个作业而创建简单的或复杂的调度。

  它有很多特征,如:数据库支持,集群,插件,支持cron-like表达式等等。 消息的处理器包装成Quartz Job加入调度系统。通过添加一系列的消息发送Job来加强消息发送的扩展性。Quartz.net本身支持集群性部署,结合Service Broker的分布式架构和Quartz的分布式部署就可以达到系统扩展性。

目录
相关文章
|
11月前
|
SQL 数据可视化 关系型数据库
MCP与PolarDB集成技术分析:降低SQL门槛与简化数据可视化流程的机制解析
阿里云PolarDB与MCP协议融合,打造“自然语言即分析”的新范式。通过云原生数据库与标准化AI接口协同,实现零代码、分钟级从数据到可视化洞察,打破技术壁垒,提升分析效率99%,推动企业数据能力普惠化。
897 3
|
10月前
|
监控 Cloud Native 测试技术
.NET技术深度解析:现代企业级开发指南
每日激励:“不要一直责怪过去的自己,他曾经站在雾里也很迷茫”。我是蒋星熠Jaxonic,一名在代码宇宙中探索的极客旅人。从.NET Framework到.NET 8,我深耕跨平台、高性能、云原生开发,践行领域驱动设计与微服务架构,用代码书写技术诗篇。分享架构演进、性能优化与AI融合前沿,助力开发者在二进制星河中逐光前行。关注我,共探技术无限可能!
.NET技术深度解析:现代企业级开发指南
|
JSON 编解码 API
Go语言网络编程:使用 net/http 构建 RESTful API
本章介绍如何使用 Go 语言的 `net/http` 标准库构建 RESTful API。内容涵盖 RESTful API 的基本概念及规范,包括 GET、POST、PUT 和 DELETE 方法的实现。通过定义用户数据结构和模拟数据库,逐步实现获取用户列表、创建用户、更新用户、删除用户的 HTTP 路由处理函数。同时提供辅助函数用于路径参数解析,并展示如何设置路由器启动服务。最后通过 curl 或 Postman 测试接口功能。章节总结了路由分发、JSON 编解码、方法区分、并发安全管理和路径参数解析等关键点,为更复杂需求推荐第三方框架如 Gin、Echo 和 Chi。
|
SQL 存储 关系型数据库
【SQL技术】不同数据库引擎 SQL 优化方案剖析
不同数据库系统(MySQL、PostgreSQL、Doris、Hive)的SQL优化策略。存储引擎特点、SQL执行流程及常见操作(如条件查询、排序、聚合函数)的优化方法。针对各数据库,索引使用、分区裁剪、谓词下推等技术,并提供了具体的SQL示例。通用的SQL调优技巧,如避免使用`COUNT(DISTINCT)`、减少小文件问题、慎重使用`SELECT *`等。通过合理选择和应用这些优化策略,可以显著提升数据库查询性能和系统稳定性。
828 9
|
SQL 小程序 API
如何运用C#.NET技术快速开发一套掌上医院系统?
本方案基于C#.NET技术快速构建掌上医院系统,结合模块化开发理念与医院信息化需求。核心功能涵盖用户端的预约挂号、在线问诊、报告查询等,以及管理端的排班管理和数据统计。采用.NET Core Web API与uni-app实现前后端分离,支持跨平台小程序开发。数据库选用SQL Server 2012,并通过读写分离与索引优化提升性能。部署方案包括Windows Server与负载均衡设计,确保高可用性。同时针对API差异、数据库老化及高并发等问题制定应对措施,保障系统稳定运行。推荐使用Postman、Redgate等工具辅助开发,提升效率与质量。
686 0
|
前端开发 C# 开发者
.NET使用Umbraco CMS快速构建一个属于自己的内容管理系统
.NET使用Umbraco CMS快速构建一个属于自己的内容管理系统
337 12
|
开发框架 算法 .NET
C#/.NET/.NET Core技术前沿周刊 | 第 15 期(2024年11.25-11.30)
C#/.NET/.NET Core技术前沿周刊 | 第 15 期(2024年11.25-11.30)
351 6
|
开发框架 Cloud Native .NET
C#/.NET/.NET Core技术前沿周刊 | 第 16 期(2024年12.01-12.08)
C#/.NET/.NET Core技术前沿周刊 | 第 16 期(2024年12.01-12.08)
389 6
|
弹性计算 开发框架 安全
基于云效 Windows 构建环境和 Nuget 制品仓库进行 .Net 应用开发
本文将基于云效 Flow 流水线 Windows 构建环境和云效 Packages Nuget 制品仓库手把手教你如何开发并部署一个 .NET 应用,从环境搭建到实战应用发布的详细教程,帮助你掌握 .NET 开发的核心技能。
|
机器学习/深度学习 人工智能 Cloud Native
在数字化时代,.NET 技术凭借其跨平台兼容性、丰富的类库和工具集以及卓越的性能与效率,成为软件开发的重要平台
在数字化时代,.NET 技术凭借其跨平台兼容性、丰富的类库和工具集以及卓越的性能与效率,成为软件开发的重要平台。本文深入解析 .NET 的核心优势,探讨其在企业级应用、Web 开发及移动应用等领域的应用案例,并展望未来在人工智能、云原生等方面的发展趋势。
527 3