说说如何保证消息顺序性的想法

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用版 2核4GB 50GB
简介: 说说如何保证消息顺序性的想法

前言

如何保证消息的顺序性

其实这个也是用 MQ的时候必问的话题,主要想请问了不了解顺序,

其次是如何保证消息是有顺序。这是生产系统中常见的问题。

问题剖析

一个 mysqlbinlog 同步的系统,压力还是非常大的,日同步数据要达到上亿,就是说数据从一个 mysql库原封不动地同步到另一个 mysql 库里面去(mysql -> mysql)。

mysql里增删改一条数据,对应出来了增删改 3 条 binlog 日志,接着这三条 binlog 发送到MQ里面,再消费出来依次执行,起码需要保证是按照顺序。

不然本来是:增加、修改、删除;你愣是换了顺序给执行成删除、修改、增加,不全错了么。

本来这个数据同步过来,应该最后这个数据被删除了;结果搞错了这个顺序,最后这个数据保留下来了,数据同步就出错了。

先看看顺序会错乱的俩场景:

  • RabbitMQ:一个 queue,多个 consumer。比如,生产者向RabbitMQ里发送了三条数据,顺序依次是 data1/data2/data3,压入的是RabbitMQ的一个内存队列。有三个消费者分别从MQ中消费这三条数据中的一条,结果消费者 2 先执行完操作,把data2存入数据库,然后是data1/data3。这不明显乱了。

image.png

  • Kafka:比如说我们建了一个 topic,有三个partition。生产者在写的时候,其实可以指定一个 key,比如说我们指定了某个订单id作为key,那么这个订单相关的数据,一定会被分发到同一个 partition中去,而且这个partition中的数据一定是有顺序的。 消费者从partition中取出来数据的时候,也一定是有顺序的。到这里,顺序还是 ok 的,没有错乱。
    接着,我们在消费者里可能会搞多个线程来并发处理消息。因为如果消费者是单线程消费处理,而处理比较耗时的话,比如处理一条消息耗时几十 ms,那么 1 秒钟只能处理几十条消息,这吞吐量太低了。而多个线程并发跑的话,顺序可能就乱掉了。

image.png

解决方案

RabbitMQ

拆分多个 queue,每个 queue 一个 consumer,就是多一些 queue 而已,确实是麻烦点,这样也会造成吞吐量下降,可以在消费者内部采用多线程的方式取消费。

image.png

或者就一个 queue 但是对应一个 consumer,然后这个 consumer 内部用内存队列做排队,然后分发给底层不同的 worker 来处理。

注意,这里消费者不直接消费消息,而是将消息根据关键值(比如:订单 id)进行哈希,哈希值相同的消息保存到相同的内存队列里。也就是说,需要保证顺序的消息存到了相同的内存队列,然后由一个唯一的 worker 去处理。

Kafka

  • 一个 topic,一个 partition,一个 consumer,内部单线程消费,单线程吞吐量太低,一般不会用这个。
  • 写 N 个内存 queue,具有相同 key 的数据都到同一个内存 queue;然后对于 N 个线程,每个线程分别消费一个内存 queue 即可,这样就能保证顺序性。

image.png


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
消息中间件 NoSQL Kafka
如何保证消息不被重复消费~~~~~(如何保证消息队列的幂等性)
如何保证消息不被重复消费~~~~~(如何保证消息队列的幂等性)
|
1天前
|
消息中间件 负载均衡 监控
大数据时代,如何保证消息的顺序性?
本文介绍了两种保证消息顺序消费的方法。首先是单 Topic、单 Partition、单 Consumer、单线程消费,虽然简单但吞吐量低,适用于顺序性要求极高的小规模场景。其次,文章提出了单 Key 顺序消费方案,通过路由消息到对应 Key 的内存队列,多线程并行消费来兼顾顺序性和吞吐量,适用于多数需要单 Key 顺序性的系统,如电商订单处理。该方案强调了负载均衡、线程管理和内存管理的关键技术,并提供了消息路由和消费的示意图。
9 0
|
9月前
|
消息中间件 存储 Kafka
MQ保证消息幂等机制
MQ保证消息幂等机制
162 0
|
1月前
|
消息中间件 缓存 监控
mq如何保证消息顺序性
mq如何保证消息顺序性
65 0
|
1月前
|
消息中间件 存储 缓存
【面试问题】MQ 如何保证消息的顺序性?
【1月更文挑战第27天】【面试问题】MQ 如何保证消息的顺序性?
|
1月前
|
消息中间件 关系型数据库 MySQL
如何保证消息幂等
如何保证消息幂等
31 0
|
1月前
|
消息中间件 存储 负载均衡
【mq】如何保证消息可靠性
【mq】如何保证消息可靠性
87 0
|
11月前
|
消息中间件
如何保证消息的可靠性,避免消息丢失
如何保证消息的可靠性,避免消息丢失
62 0
|
9月前
|
消息中间件 关系型数据库 MySQL
如何保证MQ中消息的顺序性?
如何保证MQ中消息的顺序性?
82 1
|
10月前
|
消息中间件 NoSQL Kafka
如何保证消息不被重复消费?或者说,如何保证消息消费的幂等性?
为了提高应用程序的性能和可扩展性,很多应用程序开始采用消息队列(MQ)来处理消息。 MQ 可以将消息异步地发送到目的地,从而实现解耦、异步处理和流量控制等功能。 但是,MQ 也带来了一些问题,如消息重复消费和消息消费的幂等性问题。 本文将介绍 MQ 如何保证消息不被重复消费,并讨论如何保证消息消费的幂等性。