一起谈.NET技术,基于SQL Server 2008 Service Broker构建企业级消息系统

本文涉及的产品
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
云数据库 RDS SQL Server,基础系列 2核4GB
简介:   1、引言  Microsoft 在SQL Server 2005引入了服务代理 (Service Broker 简称SSB) 为技术支持代理设计模式和面向消息的中间件 (MOM) 的原则。Service Broker在SQL Server 2008上得到完善, SQL Server Service Broker 为消息和队列应用程序提供 SQL Server 数据库引擎本机支持。

  1、引言

  Microsoft 在SQL Server 2005引入了服务代理 (Service Broker 简称SSB) 为技术支持代理设计模式和面向消息的中间件 (MOM) 的原则。Service Broker在SQL Server 2008上得到完善, SQL Server Service Broker 为消息和队列应用程序提供 SQL Server 数据库引擎本机支持。

  这使开发人员可以轻松地创建使用数据库引擎组件在完全不同的数据库之间进行通信的复杂应用程序。开发人员可以使用 Service Broker 轻松生成可靠的分布式应用程序。使用 Service Broker 的应用程序开发人员无需编写复杂的内部通信和消息,即可跨多个数据库分发数据工作负荷。因为 Service Broker 会处理会话上下文中的通信路径,所以这就减少了开发和测试工作。同时还提高了性能。

  企业系统和网站系统都需要处理大量的邮件、短信等消息通知系统。在进行系统设计时,除了对安全、事务等问题给与足够的重视外,性能也是一个不可避免的问题所在,必须充分地考虑访问量、数据流量、服务器负荷的问题。解决性能的瓶颈,除了对硬件系统进行升级外,软件设计的合理性尤为重要。对于一些实时性不是很高的模块我们可以使用了消息队列技术来完成异步处理,利用消息队列临时存放要操作的数据,将队列的数据进行异步的处理。本文基于SQL Server 2008 Service Broker、WCF、Windows 服务以及调度框架Quartz.NET实现一个消息通知系统。

  2、消息队列

  2.1 队列在异步运作的架构中是非常常用的数据结构

  基于消息的应用程序的工作方式是提交一条消息,应用程序执行其工作。然后,再检查看是否收到确认消息已得到处理的信息。如果你的应用程序充满了待处理的请求,通常应该增加另外一条处理队列来缓解系统的总体处理压力。

  微软消息队列(MSMQ)提供一个开发这类应用程序的框架。它使得应用程序可以在不同种类的网络间进行通信,并且需要保证消息传送(guaranteed message delivery)、路由和可配置安全。过去20年来,我们对关系数据库系统的依赖程度显著增加。最初,存储数据并对数据进行某种处理,是建立商业关系数据库系统的主要目的。随着关系数据库系统的发展,其功能和复杂性的变化,它的主要用途已由单一数据存储转变为更加主流的商业智能目的、更加复杂的ETL处理、数据报告、数据通知;微软认为,允许你在数据库内建立基于消息的应用程序,这样才有意义。

  Service Broker是SQL Server 2005中新添加的基础程序,在SQL Server 2008上得到加强,主要用于在数据库引擎内建立基于消息的应用程序。SQL Server Service Broker是以数据表来实现队列,并提供标准的T-SQL操作方式,让系统设计人员可以善用消息沟通的特色设计应用程序。Service Broker应用程序以松散连接的应用程序而开发,它具有高度可扩展性,并提供其它消息平台所不具备的功能,如消息组协调和锁定。这些应用程序充分支持事务,并能够跨越数据库实例和服务器。SQL Server 2008 Service Broker支持的消息可以达到2G,支持SQL的varbinary 和varbinary(max)数据类型,支持消息优先级,而且“饥饿机制”保障较低优先级的消息也有机会获得发送。

  2.2 消息系统架构

  消息的整体架构上分为三部分,消息系统客户端,消息队列系统,消息队列发送程序,序列图如下:

客户端准备好消息,通过消息客户端接口发送到消息队列系统,消息队列发送程序定时轮询获取消息进行发送,发  送的过程中发生错误重新放入队列,发送成功的队列归档到消息数据库。以邮件发送为例在具体的实现的流程如下:

  上述多个部分协作,共同完成消息的发送任务,在本实现方案总共有六个部分,以下对这几个部分进行详细描述。

  1、消息体MessageBase

  自定义消息体的好处很多,采用自己定义的格式可以节省通信的传递量等等,也是这个消息系统的消息合约。

  上面图中我们可以看到我们定义了3种常见的消息类型:邮件、短信和RTX(腾讯通RTX是腾讯公司推出的企业级即时通信平台),可以根据需要灵活的扩展企业消息的类型。

  2、客户端组件

  客户端组件负责验证消息和将消息输入消息队列系统,为了支持在整个企业环境提供服务,采用WCF方式发布,采用TCP和SOAP方式发布,TCP方式的客户端通过.NET组件包发布,另外通过SOAP方式发布的标准Web Service支持其他跨平台(C++/Java/PHP/Python/Ruby)的调用,同时为调用进行服务的验证,需要使用消息服务的业务系统首先需要在系统中注册,获得服务调用的appkey,通过SOAP Header进行传递,服务端依据系统的注册信息(appkey和注册的系统服务器IP)进行验证。

  3、SQL Server 2008 Service Broker队列系统

  SQL Server 2008 Service Broker支持会话优先级,可以支持1到10的10个优先级,为目标服务创建10个优先级,只有一个约定,但每个级别都有单独的发起方服务。所有发起方服务都与一个中心目标服务通信。在系统的中分配了高(8)中(5)低(2)三个优先级,消息也有一个优先级高(1)中(0)低(-1),进入消息系统的优先级等于系统优先级+消息优先级,这样就使用了1-9优先级,10优先级为系统保留优先级,这样就可有效的利用Service Broker的优先级和控制业务系统对消息优先级的使用。

  4、消息处理器

  消息处理器从队列中取出消息,进行发送处理,发送失败的消息重新放回队列,并增加重试次数计数,当重试计数超过最大的重试次数,进行归档处理,发送成功的消息进行归档处理。每个月的数据分表存储,避免数据量过大的系统性能损耗。

  5、消息队列调度器

  消息队列的调度采用Windows 服务承载,使用Quartz.NET进行作业的调度。Quartz.NET是一个开源的作业调度框架,是OpenSymphony 的 Quartz API的.NET移植,它用C#写成,项目地址是http://quartznet.sourceforge.net。它提供了巨大的灵活性而不牺牲简单性。你能够用它来为执行一个作业而创建简单的或复杂的调度。

  它有很多特征,如:数据库支持,集群,插件,支持cron-like表达式等等。 消息的处理器包装成Quartz Job加入调度系统。通过添加一系列的消息发送Job来加强消息发送的扩展性。Quartz.net本身支持集群性部署,结合Service Broker的分布式架构和Quartz的分布式部署就可以达到系统扩展性。

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
15天前
|
前端开发 C# 开发者
.NET使用Umbraco CMS快速构建一个属于自己的内容管理系统
.NET使用Umbraco CMS快速构建一个属于自己的内容管理系统
30 12
|
15天前
|
Web App开发 前端开发 调度
一款基于 .NET + Blazor 开发的智能访客管理系统
一款基于 .NET + Blazor 开发的智能访客管理系统
|
15天前
|
开发框架 JavaScript 前端开发
精选2款.NET开源的博客系统
精选2款.NET开源的博客系统
|
15天前
|
前端开发 JavaScript C#
基于.NET8+Vue3开发的权限管理&个人博客系统
基于.NET8+Vue3开发的权限管理&个人博客系统
|
2月前
|
开发框架 安全 Java
.NET技术的独特魅力与优势,涵盖高效的开发体验、强大的性能表现、高度的可扩展性及丰富的生态系统等方面,展示了其在软件开发领域的核心竞争力
本文深入探讨了.NET技术的独特魅力与优势,涵盖高效的开发体验、强大的性能表现、高度的可扩展性及丰富的生态系统等方面,展示了其在软件开发领域的核心竞争力。.NET不仅支持跨平台开发,具备出色的安全性和稳定性,还能与多种技术无缝集成,为企业级应用提供全面支持。
40 3
|
2月前
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具,但在实际应用中,SQL 经常跑得很慢,浪费大量硬件资源。例如,某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时,而用 SPL 重写后,单机只需 26 秒。类似地,电商漏斗运算和时空碰撞任务在使用 SPL 后,性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法,而 SPL 提供了更强大的数据类型和基础运算,能够实现高效计算。
|
3月前
|
关系型数据库 C# 数据库
.NET 8.0 开源在线考试系统(支持移动端)
【10月更文挑战第27天】以下是适用于 .NET 8.0 的开源在线考试系统(支持移动端)的简介: 1. **基于 .NET Core**:跨平台,支持多种数据库,前后端分离,适用于多操作系统。 2. **结合 Blazor**:使用 C# 开发 Web 应用,支持响应式设计,优化移动端体验。 3. **基于 .NET MAUI**:跨平台移动应用开发,一套代码多平台运行,提高开发效率。 开发时需关注界面设计、安全性与稳定性。
|
3月前
|
SQL 存储 数据库
SQL在构建系统中的应用:关键要素与编写技巧
在构建基于数据库的系统时,SQL(Structured Query Language)扮演着至关重要的角色
|
3月前
|
Windows
.NET 隐藏/自定义windows系统光标
【10月更文挑战第20天】在.NET中,可以使用`Cursor`类来控制光标。要隐藏光标,可将光标设置为`Cursors.None`。此外,还可以通过从文件或资源加载自定义光标来更改光标的样式。例如,在表单加载时设置`this.Cursor = Cursors.None`隐藏光标,或使用`Cursor.FromFile`方法加载自定义光标文件,也可以将光标文件添加到项目资源中并通过资源管理器加载。这些方法适用于整个表单或特定控件。
|
Java C# 开发工具
.Net码农学Android---系统架构和基本概念
原文:.Net码农学Android---系统架构和基本概念 至此,你应该已经完成以下前期准备事情: 1.安装完JDK 2.安装完SDK(并在Manager中进行相关版本的更新) 3.相关IDE(如eclipse) 4.安装完ADT 5.安装完AVD(如果你是真机模拟的话也可以不安装) 前期环境搭建基本完成,并按照网上的教程可以运行出HelloWorld,确保可以流程走的通。
991 0