“ID串行化”是如何保证消息顺序性的?

简介: 获取连接,ID取模。

《消息顺序性为何这么难?》中,介绍了一种为了保证“所有群友展示的群消息时序都是一致的”所使用的“ID串行化”的方法:让同一个群gid的所有消息落在同一台服务器上处理


ID串行化是如何实现的呢?


互联网高可用常见分层架构
image.png

客户端,反向代理层,接入层,服务层,存储层,这是互联网常见的高可用分层架构。

画外音:这个图用过好多次。


这里的“服务层”至关重要,ID串行化保证的是,同一个群gid的消息落在同一个服务上。

画外音:服务集群有很多节点,如果能落在同一个服务节点上,就可以利用这个服务节点做消息串行化。


服务层上下游细节

服务一般由RPC框架实现,上游调用方是多线程程序,通过RPC-client访问服务,而RPC-client内部又通过连接池connection-pool来访问的。

画外音:为了保证高可用,连接池会对集群中的每个服务都建立连接。
image.png


如上图:

(1)上游是业务应用;

(2)下游是服务集群;

(3)业务应用,它又分为了这么几个部分:

- 上层是任务队列(粉色)

- 中间是工作线程(蓝色),每个工作线程完成实际的业务任务,典型的工作任务是通过服务连接池进行RPC调用;

- 下层是服务连接池(绿色),所有的RPC调用都是通过服务连接池往下游服务发请求执行;

画外音:橙色是连接池中的一条连接。

工作线程的典型工作流是这样的:

void work_thread_routine(){

// 获取任务

Task t = TaskQueue.pop();

// 任务逻辑处理,组成一个网络包packet

Packet p = MakePacket(t);


// 从Service连接池获取一个Service连接

ServiceConnection c = CPool.GetConnection();

// 通过Service连接发送报文执行RPC请求

c.Send(p);

// 将Service连接放回Service连接池

CPool.PutConnection(c);

}

如何保证同一个群gid的消息落在同一个服务上呢?

对连接池进行少量改动,获取连接时:

CPool.GetConnection()

画外音:返回任何一个可用服务连接。

升级为

CPool.GetConnection(long id)

画外音:返回id取模相关联的服务连接。


只要传入群gid,就能够保证同一个群的请求获取到同一个连接,从而使请求落到同一个服务上


需要注意的是,连接池不关心传入的long id是什么业务含义

(1)传入群gid,同gid的请求落在同一个服务上;

(2)传入用户uid,同uid的请求落在同一个服务上;

(3)传入任何业务xid,同业务xid的请求落在同一个服务上;


ID串行化访问服务,同一个id访问同一个服务,当服务挂掉时,会不会受影响服务可用性?

不会,当有下游服务挂掉的时候,连接池能够检测到连接的可用性,取模时要把不可用的服务连接排除掉。

取模访问服务,是否会影响各连接上请求的负载均衡?

不会,只要数据访问id是均衡的,从全局来看,由id取模获取各连接的概率也是均等的,即负载是均衡的。


获取连接,ID取模,希望大家有收获。

本文转自“架构师之路”公众号,58沈剑提供。

目录
相关文章
|
2天前
|
消息中间件 Java Kafka
MQ四兄弟:如何保证消息顺序性
在分布式系统中,消息队列(MQ)是确保组件间高效通信的关键。RabbitMQ、RocketMQ、Kafka和Pulsar通过不同机制保证消息顺序性:RabbitMQ依赖单一队列和消费者模式;RocketMQ使用MessageQueueSelector;Kafka基于Partition和Key;Pulsar通过分区主题和键路由。这些系统的核心思想是将相同特征的消息发送到同一队列或分区,并按先进先出原则消费,从而确保消息顺序性。
13 0
|
7月前
|
消息中间件 NoSQL Kafka
如何保证消息不被重复消费~~~~~(如何保证消息队列的幂等性)
如何保证消息不被重复消费~~~~~(如何保证消息队列的幂等性)
|
4月前
|
消息中间件 存储 NoSQL
MQ的顺序性保证:顺序队列、消息编号、分布式锁,一文全掌握!
【8月更文挑战第24天】消息队列(MQ)是分布式系统的关键组件,用于实现系统解耦、提升可扩展性和可用性。保证消息顺序性是其重要挑战之一。本文介绍三种常用策略:顺序队列、消息编号与分布式锁,通过示例展示如何确保消息按需排序。这些方法各有优势,可根据实际场景灵活选用。提供的Java示例有助于加深理解与实践应用。
127 2
|
7月前
|
消息中间件 Kafka API
Kafka Exactly Once 语义实现原理:幂等性与事务消息
Apache Kafka的Exactly-Once语义确保了消息处理的准确性和一致性。通过幂等性和事务消息,Kafka实现了要么全处理要么全不处理的原子性。文章详细解析了Kafka事务的工作流程,包括生产者的幂等性(通过序列号保证),以及事务消息的提交和回滚过程。Kafka事务提供了ACID保证,但存在性能限制,如额外的RPC请求和单生产者只能执行一个事务。此外,事务适用于同集群内的操作,跨集群时原子性无法保证。了解这些原理有助于开发者更好地利用Kafka事务构建可靠的数据处理系统。
190 3
 Kafka Exactly Once 语义实现原理:幂等性与事务消息
|
消息中间件 存储 Kafka
MQ保证消息幂等机制
MQ保证消息幂等机制
263 0
|
7月前
|
消息中间件 关系型数据库 MySQL
如何保证消息幂等
如何保证消息幂等
85 0
|
7月前
|
消息中间件 缓存 监控
mq如何保证消息顺序性
mq如何保证消息顺序性
133 0
|
7月前
|
消息中间件 存储 缓存
【面试问题】MQ 如何保证消息的顺序性?
【1月更文挑战第27天】【面试问题】MQ 如何保证消息的顺序性?
|
消息中间件 关系型数据库 MySQL
如何保证MQ中消息的顺序性?
如何保证MQ中消息的顺序性?
101 1
|
消息中间件 NoSQL Kafka
如何保证消息不被重复消费?或者说,如何保证消息消费的幂等性?
为了提高应用程序的性能和可扩展性,很多应用程序开始采用消息队列(MQ)来处理消息。 MQ 可以将消息异步地发送到目的地,从而实现解耦、异步处理和流量控制等功能。 但是,MQ 也带来了一些问题,如消息重复消费和消息消费的幂等性问题。 本文将介绍 MQ 如何保证消息不被重复消费,并讨论如何保证消息消费的幂等性。