一起谈.NET技术,基于SQL Server 2008 Service Broker构建企业级消息系统

简介:   1、引言  Microsoft 在SQL Server 2005引入了服务代理 (Service Broker 简称SSB) 为技术支持代理设计模式和面向消息的中间件 (MOM) 的原则。Service Broker在SQL Server 2008上得到完善, SQL Server Service Broker 为消息和队列应用程序提供 SQL Server 数据库引擎本机支持。

  1、引言

  Microsoft 在SQL Server 2005引入了服务代理 (Service Broker 简称SSB) 为技术支持代理设计模式和面向消息的中间件 (MOM) 的原则。Service Broker在SQL Server 2008上得到完善, SQL Server Service Broker 为消息和队列应用程序提供 SQL Server 数据库引擎本机支持。

  这使开发人员可以轻松地创建使用数据库引擎组件在完全不同的数据库之间进行通信的复杂应用程序。开发人员可以使用 Service Broker 轻松生成可靠的分布式应用程序。使用 Service Broker 的应用程序开发人员无需编写复杂的内部通信和消息,即可跨多个数据库分发数据工作负荷。因为 Service Broker 会处理会话上下文中的通信路径,所以这就减少了开发和测试工作。同时还提高了性能。

  企业系统和网站系统都需要处理大量的邮件、短信等消息通知系统。在进行系统设计时,除了对安全、事务等问题给与足够的重视外,性能也是一个不可避免的问题所在,必须充分地考虑访问量、数据流量、服务器负荷的问题。解决性能的瓶颈,除了对硬件系统进行升级外,软件设计的合理性尤为重要。对于一些实时性不是很高的模块我们可以使用了消息队列技术来完成异步处理,利用消息队列临时存放要操作的数据,将队列的数据进行异步的处理。本文基于SQL Server 2008 Service Broker、WCF、Windows 服务以及调度框架Quartz.NET实现一个消息通知系统。

  2、消息队列

  2.1 队列在异步运作的架构中是非常常用的数据结构

  基于消息的应用程序的工作方式是提交一条消息,应用程序执行其工作。然后,再检查看是否收到确认消息已得到处理的信息。如果你的应用程序充满了待处理的请求,通常应该增加另外一条处理队列来缓解系统的总体处理压力。

  微软消息队列(MSMQ)提供一个开发这类应用程序的框架。它使得应用程序可以在不同种类的网络间进行通信,并且需要保证消息传送(guaranteed message delivery)、路由和可配置安全。过去20年来,我们对关系数据库系统的依赖程度显著增加。最初,存储数据并对数据进行某种处理,是建立商业关系数据库系统的主要目的。随着关系数据库系统的发展,其功能和复杂性的变化,它的主要用途已由单一数据存储转变为更加主流的商业智能目的、更加复杂的ETL处理、数据报告、数据通知;微软认为,允许你在数据库内建立基于消息的应用程序,这样才有意义。

  Service Broker是SQL Server 2005中新添加的基础程序,在SQL Server 2008上得到加强,主要用于在数据库引擎内建立基于消息的应用程序。SQL Server Service Broker是以数据表来实现队列,并提供标准的T-SQL操作方式,让系统设计人员可以善用消息沟通的特色设计应用程序。Service Broker应用程序以松散连接的应用程序而开发,它具有高度可扩展性,并提供其它消息平台所不具备的功能,如消息组协调和锁定。这些应用程序充分支持事务,并能够跨越数据库实例和服务器。SQL Server 2008 Service Broker支持的消息可以达到2G,支持SQL的varbinary 和varbinary(max)数据类型,支持消息优先级,而且“饥饿机制”保障较低优先级的消息也有机会获得发送。

  2.2 消息系统架构

  消息的整体架构上分为三部分,消息系统客户端,消息队列系统,消息队列发送程序,序列图如下:

客户端准备好消息,通过消息客户端接口发送到消息队列系统,消息队列发送程序定时轮询获取消息进行发送,发  送的过程中发生错误重新放入队列,发送成功的队列归档到消息数据库。以邮件发送为例在具体的实现的流程如下:

  上述多个部分协作,共同完成消息的发送任务,在本实现方案总共有六个部分,以下对这几个部分进行详细描述。

  1、消息体MessageBase

  自定义消息体的好处很多,采用自己定义的格式可以节省通信的传递量等等,也是这个消息系统的消息合约。

  上面图中我们可以看到我们定义了3种常见的消息类型:邮件、短信和RTX(腾讯通RTX是腾讯公司推出的企业级即时通信平台),可以根据需要灵活的扩展企业消息的类型。

  2、客户端组件

  客户端组件负责验证消息和将消息输入消息队列系统,为了支持在整个企业环境提供服务,采用WCF方式发布,采用TCP和SOAP方式发布,TCP方式的客户端通过.NET组件包发布,另外通过SOAP方式发布的标准Web Service支持其他跨平台(C++/Java/PHP/Python/Ruby)的调用,同时为调用进行服务的验证,需要使用消息服务的业务系统首先需要在系统中注册,获得服务调用的appkey,通过SOAP Header进行传递,服务端依据系统的注册信息(appkey和注册的系统服务器IP)进行验证。

  3、SQL Server 2008 Service Broker队列系统

  SQL Server 2008 Service Broker支持会话优先级,可以支持1到10的10个优先级,为目标服务创建10个优先级,只有一个约定,但每个级别都有单独的发起方服务。所有发起方服务都与一个中心目标服务通信。在系统的中分配了高(8)中(5)低(2)三个优先级,消息也有一个优先级高(1)中(0)低(-1),进入消息系统的优先级等于系统优先级+消息优先级,这样就使用了1-9优先级,10优先级为系统保留优先级,这样就可有效的利用Service Broker的优先级和控制业务系统对消息优先级的使用。

  4、消息处理器

  消息处理器从队列中取出消息,进行发送处理,发送失败的消息重新放回队列,并增加重试次数计数,当重试计数超过最大的重试次数,进行归档处理,发送成功的消息进行归档处理。每个月的数据分表存储,避免数据量过大的系统性能损耗。

  5、消息队列调度器

  消息队列的调度采用Windows 服务承载,使用Quartz.NET进行作业的调度。Quartz.NET是一个开源的作业调度框架,是OpenSymphony 的 Quartz API的.NET移植,它用C#写成,项目地址是http://quartznet.sourceforge.net。它提供了巨大的灵活性而不牺牲简单性。你能够用它来为执行一个作业而创建简单的或复杂的调度。

  它有很多特征,如:数据库支持,集群,插件,支持cron-like表达式等等。 消息的处理器包装成Quartz Job加入调度系统。通过添加一系列的消息发送Job来加强消息发送的扩展性。Quartz.net本身支持集群性部署,结合Service Broker的分布式架构和Quartz的分布式部署就可以达到系统扩展性。

目录
相关文章
|
9月前
|
SQL 数据可视化 关系型数据库
MCP与PolarDB集成技术分析:降低SQL门槛与简化数据可视化流程的机制解析
阿里云PolarDB与MCP协议融合,打造“自然语言即分析”的新范式。通过云原生数据库与标准化AI接口协同,实现零代码、分钟级从数据到可视化洞察,打破技术壁垒,提升分析效率99%,推动企业数据能力普惠化。
768 3
|
10月前
|
SQL 容灾 安全
云时代SQL Server的终极答案:阿里云 RDS SQL Server如何用异地容灾重构系统可靠性
在数字化转型的浪潮中,数据库的高可用性已成为系统稳定性的生命线。作为经历过多次生产事故的资深开发者,肯定深知传统自建SQL Server架构的脆弱性——直到遇见阿里云 RDS SQL Server,其革命性的异地容灾架构彻底改写了游戏规则。
|
SQL 开发框架 .NET
ASP.NET连接SQL数据库:详细步骤与最佳实践指南ali01n.xinmi1009fan.com
随着Web开发技术的不断进步,ASP.NET已成为一种非常流行的Web应用程序开发框架。在ASP.NET项目中,我们经常需要与数据库进行交互,特别是SQL数据库。本文将详细介绍如何在ASP.NET项目中连接SQL数据库,并提供最佳实践指南以确保开发过程的稳定性和效率。一、准备工作在开始之前,请确保您
979 3
|
JSON 数据格式
【Azure Fabric Service】演示使用PowerShell命令部署SF应用程序(.NET)
本文详细介绍了在中国区微软云Azure上使用Service Fabrics服务时,通过PowerShell命令发布.NET应用的全过程。由于Visual Studio 2022无法直接发布应用,需借助PowerShell脚本完成部署。文章分三步讲解:首先在Visual Studio 2022中打包应用部署包,其次连接SF集群并上传部署包,最后注册应用类型、创建实例并启动服务。过程中涉及关键参数如服务器证书指纹和服务端证书指纹的获取,并附带图文说明,便于操作。参考官方文档,帮助用户成功部署并运行服务。
441 73
|
存储 XML 开发工具
【Azure Storage Account】利用App Service作为反向代理, 并使用.NET Storage Account SDK实现上传/下载操作
本文介绍了如何在Azure上使用App Service作为反向代理,以自定义域名访问Storage Account。主要内容包括: 1. **设置反向代理**:通过配置`applicationhost.xdt`和`web.config`文件,启用IIS代理功能并设置重写规则。 2. **验证访问**:测试原生URL和自定义域名的访问效果,确保两者均可正常访问Storage Account。 3. **.NET SDK连接**:使用共享访问签名(SAS URL)初始化BlobServiceClient对象,实现通过自定义域名访问存储服务。
273 0
|
SQL 存储 关系型数据库
【SQL技术】不同数据库引擎 SQL 优化方案剖析
不同数据库系统(MySQL、PostgreSQL、Doris、Hive)的SQL优化策略。存储引擎特点、SQL执行流程及常见操作(如条件查询、排序、聚合函数)的优化方法。针对各数据库,索引使用、分区裁剪、谓词下推等技术,并提供了具体的SQL示例。通用的SQL调优技巧,如避免使用`COUNT(DISTINCT)`、减少小文件问题、慎重使用`SELECT *`等。通过合理选择和应用这些优化策略,可以显著提升数据库查询性能和系统稳定性。
730 9
|
开发框架 监控 .NET
【Azure App Service】部署在App Service上的.NET应用内存消耗不能超过2GB的情况分析
x64 dotnet runtime is not installed on the app service by default. Since we had the app service running in x64, it was proxying the request to a 32 bit dotnet process which was throwing an OutOfMemoryException with requests >100MB. It worked on the IaaS servers because we had the x64 runtime install
412 5
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具,但在实际应用中,SQL 经常跑得很慢,浪费大量硬件资源。例如,某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时,而用 SPL 重写后,单机只需 26 秒。类似地,电商漏斗运算和时空碰撞任务在使用 SPL 后,性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法,而 SPL 提供了更强大的数据类型和基础运算,能够实现高效计算。
|
SQL 安全 数据库
sql注入技术
sql注入技术
|
SQL 机器学习/深度学习 自然语言处理
Text-to-SQL技术演进 - 阿里云OpenSearch-SQL在BIRD榜单夺冠方法剖析
本文主要介绍了阿里云OpenSearch在Text-to-SQL任务中的最新进展和技术细节。