“ID串行化”是如何保证消息顺序性的?

简介: 获取连接,ID取模。

《消息顺序性为何这么难?》中,介绍了一种为了保证“所有群友展示的群消息时序都是一致的”所使用的“ID串行化”的方法:让同一个群gid的所有消息落在同一台服务器上处理


ID串行化是如何实现的呢?


互联网高可用常见分层架构
image.png

客户端,反向代理层,接入层,服务层,存储层,这是互联网常见的高可用分层架构。

画外音:这个图用过好多次。


这里的“服务层”至关重要,ID串行化保证的是,同一个群gid的消息落在同一个服务上。

画外音:服务集群有很多节点,如果能落在同一个服务节点上,就可以利用这个服务节点做消息串行化。


服务层上下游细节

服务一般由RPC框架实现,上游调用方是多线程程序,通过RPC-client访问服务,而RPC-client内部又通过连接池connection-pool来访问的。

画外音:为了保证高可用,连接池会对集群中的每个服务都建立连接。
image.png


如上图:

(1)上游是业务应用;

(2)下游是服务集群;

(3)业务应用,它又分为了这么几个部分:

- 上层是任务队列(粉色)

- 中间是工作线程(蓝色),每个工作线程完成实际的业务任务,典型的工作任务是通过服务连接池进行RPC调用;

- 下层是服务连接池(绿色),所有的RPC调用都是通过服务连接池往下游服务发请求执行;

画外音:橙色是连接池中的一条连接。

工作线程的典型工作流是这样的:

void work_thread_routine(){

// 获取任务

Task t = TaskQueue.pop();

// 任务逻辑处理,组成一个网络包packet

Packet p = MakePacket(t);


// 从Service连接池获取一个Service连接

ServiceConnection c = CPool.GetConnection();

// 通过Service连接发送报文执行RPC请求

c.Send(p);

// 将Service连接放回Service连接池

CPool.PutConnection(c);

}

如何保证同一个群gid的消息落在同一个服务上呢?

对连接池进行少量改动,获取连接时:

CPool.GetConnection()

画外音:返回任何一个可用服务连接。

升级为

CPool.GetConnection(long id)

画外音:返回id取模相关联的服务连接。


只要传入群gid,就能够保证同一个群的请求获取到同一个连接,从而使请求落到同一个服务上


需要注意的是,连接池不关心传入的long id是什么业务含义

(1)传入群gid,同gid的请求落在同一个服务上;

(2)传入用户uid,同uid的请求落在同一个服务上;

(3)传入任何业务xid,同业务xid的请求落在同一个服务上;


ID串行化访问服务,同一个id访问同一个服务,当服务挂掉时,会不会受影响服务可用性?

不会,当有下游服务挂掉的时候,连接池能够检测到连接的可用性,取模时要把不可用的服务连接排除掉。

取模访问服务,是否会影响各连接上请求的负载均衡?

不会,只要数据访问id是均衡的,从全局来看,由id取模获取各连接的概率也是均等的,即负载是均衡的。


获取连接,ID取模,希望大家有收获。

本文转自“架构师之路”公众号,58沈剑提供。

目录
相关文章
|
数据采集 存储 分布式计算
《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览2
《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览2
1387 0
《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览2
|
移动开发
诺顿定理
诺顿定理(Norton's theorem)是电路理论中的一个重要定理,它可以将复杂的线性电路简化为一个等效的电流源和一个等效的电阻。诺顿定理是基于电流的观点来描述电路的,与其对偶定理——戴维南定理相对应。
884 0
|
文字识别 安全 API
iOS Crash 治理:淘宝VisionKitCore 问题修复(下)
iOS Crash 治理:淘宝VisionKitCore 问题修复(下)
576 0
|
Python
Python eval()函数的使用
Python eval()函数的使用
1316 1
|
缓存 NoSQL Redis
[Nestjs] 使用redis的基础配置,以及基本使用的介绍
要在 NestJS 中使用 Redis,需要安装依赖npm install --save redis fastify-redis
927 0
|
编解码 数据可视化 JavaScript
Google Earth Engine(GEE)——10分钟短文快速了解地球引擎和森林面积损失计算
Google Earth Engine(GEE)——10分钟短文快速了解地球引擎和森林面积损失计算
917 0
|
编译器 程序员 C++
函数重载(function overloading)
函数重载(function overloading)是编程语言中一种支持多个同名函数的特性,这些函数在参数列表(参数类型和数量)上有所不同。当调用一个重载函数时,编译器会根据函数参数列表的具体情况进行匹配,然后调用相应的函数实现。
749 5
|
存储 运维 安全
无影云电脑,未来的办公利器
从个人PC时代发展,到云计算逐步兴起,再到云电脑的异军突起,每一次科技变革都让我们措手不及,却又感叹科技带来的便利并慢慢适应
|
数据库
IP地址以及端口号
IP地址以及端口号
1005 0
IP地址以及端口号
|
存储 前端开发 算法
canvas进阶——实现事件系统
前言 大家好! 我是热爱图形的fly, 之前在群里和粉丝讨论canvas 如何事件系统, 然后呢? 我自己其实也对这个比较感兴趣, 我看过很多canvas 实现的项目, 比如canvas 实现思维导图 「xmind」 , canvas 实现一个「绘图工具」。 然后呢无论是哪一个,其实背后都是在canavs 背后实现了一套事件系统,可惜这些源码都不开源。所以本着学习的激情, 我参考了一些文章实现一个简单事件系统。本篇文章你可以学到下面👇这些内容 我是怎么基于canvas去「构建基础框架」的 几何算法—— 「判断点是不是任意多边形内部」 如何进行「事件分发」和「阻止事件冒泡」 本篇文章我全是干
canvas进阶——实现事件系统