消息队列事务型消息原理浅析

简介: 在分布式系统架构中,尤其是金融级业务应用的解决方案设计中,消息队列提供 “事务型消息” 特性是必不可少的,“数据一致性” 是金融级分布式架构的基本要求。

原创声明:本文系作者原创,谢绝个人、媒体、公众号或网站未经授权转载,违者追究其法律责任。


前言

在金融级分布式架构的领域内,消息队列是普遍被应用的异步通信产品,本文主要分为以下几个小结,循序渐进的对消息队列产品事务型消息设计原理进行分析和阐述:

1.消息队列简介

2.消息队列应用实例

3.事务型消息设计方案

4.事务型消息总结

消息队列简介

在分布式系统架构中,消息队列的核心职责是为不同的应用系统提供异步通信服务,通常涉及以下三个重要角色:

  • 消息发布者,发送消息的应用系统,负责创建消息对象并通过网络发布到消息 Broker,发布的过程一般是同步的。
  • 消息 Broker,异步消息的“代理人”,负责接收并持久化消息,保证将消息投递到指定的消息订阅者应用系统。
  • 消息订阅者,订阅消息的应用系统,负责消费消息 Broker 投递过来的消息。

在分布式系统架构中,引入消息队列带来的三大核心优势如下:

  • 提高核心链路吞吐量
  • 降低应用系统之间的耦合度
  • 增强整体服务的高可用能力
消息队列应用实例

分析和设计一个典型的支付应用业务逻辑,以 “账单查询 Case” 为例,基本业务逻辑如下:

检索数据库,获取指定账户的账单记录。

记录用户的检索行为,为风险控制提供数据积累。

发送短信到用户手机,通知用户其账单被查询事件。

依赖 “同步 RPC” 的设计方案 A 如下所示:
image.png

“账单检索 Case” 同步 RPC 设计方案 A

依赖 “异步消息队列” 的设计方案 B 如下所示:

image.png

“账单检索 Case” 消息队列设计方案 B

对比以上 A, B 两个设计方案,引入消息队列的设计方案 B 具有如下优势:

“账单服务” 处理 “账单查询 Case” 的耗时由 60 ms 缩减至 13 ms, 提高了服务的吞吐量。

“账单服务” 和 “风险控制服务”、“短信通知服务” 完全解耦,如果在业务演进过程中,增加了新的下游服务,“账单服务” 完全无需变更。

当 “风险控制服务” 和 “短信通知服务” 不可用时,不会导致 “账单服务” 不可用。

通过以上 “账单查询 Case” 的设计方案,可以阐明引入消息队列给分布式应用架构带来的三大核心优势。

下面继续分析和设计 “账单变更 Case”,基本业务逻辑如下:

写入数据库,变更指定账户的账单记录。

记录用户检索行为,为风险控制提供数据积累。

发送短信到用户手机,通知用户其账户变更金额。

与 “账单查询 Case” 的区别在于数据库操作是写入,而不再是检索。二者的主要区别是 “数据库检索” 不涉及数据库事务,而 “数据库写入” 一定会涉及到数据库事务,按照之前的引入消息队列设计思路,“账单变更 Case” 的设计方案 C 如下:

image.png

“账单变更 Case” 消息队列设计方案 C

“账单变更 Case” 消息队列设计方案 C 存在以下严重问题:

“账单变更” 关联的数据库变更事务提交成功后,如果 “发布账单变更消息” 发送失败(例如网络异常或者消息队列服务不可用),则会导致 “记录用户行为” 和 “短信通知用户” 后续动作失败,无法完成风险控制数据积累,用户也无法及时获取到账户变更信息。

为了解决以上设计方案 C 的严重问题,初步考虑先发布 “账单变更” 消息,再做数据库变更的设计方案,但还是无法解决 “消息发布” 和 “数据库事务” 可能不一致性的严重问题,如果消息已发布成功过了,数据库变更事务回滚了,就会导致用户的账单没有变更,但用户却收到了账户变更短信,存在一致性漏洞的 “账单变更 Case” 消息队列设计方案 D 如下所示:

image.png

“账单变更 Case” 消息队列设计方案 D

至此,可以梳理一下完美解决 “账单变更 Case” 需要解决的关键点:

必须满足“一致性”要求,即账单服务数据库变更事务提交成功,风险控制服务和短信通知服务收到“账单变更”消息;账单服务数据库变更事务回滚,风险控制服务和短信通知服务不会收到“账单变更”消息。

“账单变更”消息发布失败,尽量避免导致数据库变更事务的回滚。

事务型消息设计方案

为了解决以上描述的两个需求,消息队列需要提供一种特殊类型的消息:消息队列收到消息后不会立刻投递消息到消息订阅者,而是根据消息发布者应用的数据库事务状态决定消息是否投递。如果数据库事务提交,则消息投递到订阅者;反之则不投递。此类消息被命名为 “事务型消息”。具体设计方案如下:

image.png

事务型消息设计方案 E

按照 “事务型消息设计方案 E” 的时序图,消息发布者和消息队列之间增加了一个 “二阶段” 消息,用来标明对应事务型消息的 “事务状态”,消息队列根据 “二阶段” 消息决定是否投递消息到下游消息订阅者。应用 “事务型消息”,“账单变更 Case” 的可行解决方案如下所示:

image.png

“账单变更 Case” 消息队列-事务型消息设计方案 F

按照 “账单变更 Case” 消息队列-事务型消息设计方案 F,可以满足“账单服务数据库变更”与“异步消息是否投递到订阅者应用”的事务一致性需求。结合 Spring Framework 的事务模板工具类伪代码如下:

image.png

至于依据数据库事务提交/回滚状态决定事务型 “二阶段” 消息的发送,可以通过 Spring Framework 提供的事务模板同步器自动感知消息发布者本地事务状态,相关接口是:

image.png

至此,消息队列 “事务型消息” 的设计方案和实现原理基本阐明清楚了,还遗留两个可以深究的关键点:

为什么消息发布方法需要在本地数据库事务方法之前?

如果消息队列收不到事务型消息的二阶段“提交 or 回滚” 消息,如何处理?

针对第一个关键点,假定方法执行时序是先执行本地数据库事务方法,之后发布 “事务型” 消息,那么消息发布失败会导致消息发布者本地事务回滚,这明显是不符合预期的,因为数据库事务回滚的成本比较消息发布失败是高昂的。

针对第二个关键点,在分布式网络架构中是可能出现的,比如网络异常、消息队列服务短时间不可用等。这也是消息队列提供严谨的 “事务型消息” 特性必须要解决的问题,如果消息队列没有收到 “提交 or 回滚” 回滚消息,则无法决定是否投递消息到消息订阅者,因此,严谨的 “事务型消息” 设计方案需要有一个异常场景,命名为 “事务型消息状态回查”,具体设计方案如下:

image.png

事务型消息回查设计方案G

需要明确的是,“事务型消息状态回查” 只在 “提交 or 回滚消息” 失败的场景下被触发,属于异常路径。

事务型消息总结

在分布式系统架构中,尤其是金融级业务应用的解决方案设计中,消息队列提供 “事务型消息” 特性是必不可少的,“数据一致性” 是金融级分布式架构的基本要求,本文通过实例逐步说明消息队列产品支持 “事务型消息” 的必要性、设计方案和原理,定义了明确的消息队列事务型消息的核心原理:

消息队列事务型消息基于 “二阶段” 消息实现。

事务型消息是否投递与消息发布者本地事务状态保持一致。

事务型消息状态回查是保证了 “事务型消息” 的严谨性。

目录
相关文章
|
1月前
|
消息中间件 存储 Kafka
MQ 消息队列核心原理,12 条最全面总结!
本文总结了消息队列的12个核心原理,涵盖消息顺序性、ACK机制、持久化及高可用性等内容。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
|
5月前
|
消息中间件 缓存 IDE
MetaQ/RocketMQ 原理问题之消息队列中间件的问题如何解决
MetaQ/RocketMQ 原理问题之消息队列中间件的问题如何解决
|
5月前
|
消息中间件 存储 RocketMQ
MetaQ/RocketMQ 原理问题之在解耦场景中,消息队列工作的问题如何解决
MetaQ/RocketMQ 原理问题之在解耦场景中,消息队列工作的问题如何解决
|
7月前
|
消息中间件 存储 传感器
Kafka消息队列原理及应用详解
【5月更文挑战第6天】Apache Kafka是高性能的分布式消息队列,常用于实时数据管道和流应用。它提供高性能、持久化、分布式和可伸缩的消息处理,支持解耦、异步通信和流量控制。Kafka的核心概念包括Broker、Topic、Partition、Producer、Consumer和Consumer Group。其特点是高吞吐、低延迟、数据持久化、分布式架构和容错性。常见应用包括实时数据流处理、日志收集、消息传递和系统间数据交换。
|
6月前
|
消息中间件 网络性能优化 RocketMQ
消息队列 MQ产品使用合集之本地事务还没有执行完就触发了回查是什么导致的
阿里云消息队列MQ(Message Queue)是一种高可用、高性能的消息中间件服务,它允许您在分布式应用的不同组件之间异步传递消息,从而实现系统解耦、流量削峰填谷以及提高系统的可扩展性和灵活性。以下是使用阿里云消息队列MQ产品的关键点和最佳实践合集。
|
7月前
|
消息中间件
[AIGC] 了解消息队列事务:保证数据一致性的关键
[AIGC] 了解消息队列事务:保证数据一致性的关键
106 1
|
消息中间件 存储 监控
消息中间件第八讲:消息队列 RocketMQ 版实战、集群及原理
消息中间件第八讲:消息队列 RocketMQ 版实战、集群及原理
376 0
|
7月前
|
消息中间件 存储 监控
解析RocketMQ:高性能分布式消息队列的原理与应用
RocketMQ是阿里开源的高性能分布式消息队列,具备低延迟、高吞吐和高可靠性,广泛应用于电商、金融等领域。其核心概念包括Topic、Producer、Consumer、Message和Name Server/Broker。RocketMQ支持异步通信、系统解耦、异步处理和流量削峰。关键特性有分布式架构、顺序消息、高可用性设计和消息事务。提供发布/订阅和点对点模型,以及消息过滤功能。通过集群模式、存储方式、发送和消费方式的选择进行性能优化。RocketMQ易于部署,可与Spring集成,并与Kafka等系统对比各有优势,拥有丰富的生态系统。
844 4
|
7月前
|
消息中间件 存储 Cloud Native
【Spring云原生系列】Spring RabbitMQ:异步处理机制的基础--消息队列 原理讲解+使用教程
【Spring云原生系列】Spring RabbitMQ:异步处理机制的基础--消息队列 原理讲解+使用教程
|
7月前
|
消息中间件 存储 缓存
【Redis实战】有MQ为啥不用?用Redis作消息队列!?Redis作消息队列使用方法及底层原理高级进阶
【Redis实战】有MQ为啥不用?用Redis作消息队列!?Redis作消息队列使用方法及底层原理高级进阶