本文首先先再次回到上述几篇关于公司升级ACL这个事情上来,通常涉及到服务器版本的升级,一旦涉及到版本的升级,兼容性测试是一个必不可少的工作。
RocketMQ客户端版本众多,并且RocketMQ的多语言生态逐渐完善,客户端目前已支持C++、.Net、Go、Python等主流编程语言,服务端版本的升级,其兼容性如何能充分考虑现有情况呢?
结合公司的实际,公司主要的技术栈以Java为主,但Python,Go等技术栈在某些部门也有使用,那如何通过技术手段获取待升级集群所有的客户端连接方式就显得非常重要。
通过细心留意RocketMQ提供的运维命令,我们可以得知官方提供了如下两个命令用于查看客户端的连接信息:
- producerConnection
用于查看消息发送者的客户端连接信息 - consumerConnection
用于查看消息消费者的客户端连接信息
温馨提示:我们可以通过如下命令获取RocketMQ支持的所有运维命令,每一个运维命令使用 -h 即可获取该命令的帮助指南。
sh ./mqadmin // 该命令会罗列所支持的运维命令列表即概要说明,如下图所示:
1、官方命令及其缺陷
看到曙光了,接下来先简单介绍一下官方提供的命令与使用详解。
1.1 producerConnection概述
其参数说明如下:
- -n name server 服务器地址
- -g
生产者组名称 - -t
topic名称,值得说明的是这个topic的作用并不是必须传入生产者组对应的消息发送topic,而是用于路由寻址,即该命令需要发送到哪些Broker上执行。
基本的使用示例如下:
输出列依次为序号、客户端ID(clientId)、客户端IP与端口号、客户端语言、客户端版本。
上述功能非常实用,但在实际的使用过程中,特别是开源版本的MQ,生产者组的概念比较弱化,在运维层面也不向消费者组这样可管控,故这个命令中的 -g 参数,其实在实际过程中要统一采集就变的非常困难,而且RocketMQ并没有提供一个获取所有生产者组的功能,从而无法通过脚本化语言迅速提取相关信息。
在介绍如何解决该问题后,我们继续看一下获取消费组相关的信息。
1.2 consumerConnection概述
通过consumerConnection可以获取消费组的相关信息,其使用示例如下:
由于消费组在实际生产中都会加以控制,并且是可运维的(可以关闭自动创建消费组,项目组只有申请后才可使用),并且尽管rocketmq同样没有提供获取消费组列表的命令,但提供了对应的API。
可以通过rocketmq-console中提供的命令,获取所有的消费组列表,然后遍历并依次通过命令提取消费组的详情,从而可以得知当前集群所有的客户端连接方式,对兼容性缩写测试范围打下坚实基础。
2、解决方案
通过上面的介绍得知由于开源版本的RocketMQ弱化了生产者组(Producer Group)的概念,目前只有在事务消息时会被使用到,故在实际生产实践过程中发现无法实现对生产者组进行强管控,比较难获取集群中当前所有的生产者信息。
为了解决版本升级需要进行兼容性测试缩写测试范围的问题,我们希望能够有一个运维命令,能够获取当前集群中所有的客户端连接信息。
那我们能否定制化一个运维命令实现获取所有生产者的连接信息,既然官方提供了producerConnection命令获取单个生产者组信息,服务端应该是会存储所有生产者组的连接信息,只是官方没有提供相关的命令而已,为了验证,我们可以去看一下producerConnection命令在服务端的处理逻辑。
从服务端代码可知,在服务端会使用一个Map存储所有的生产者客户端连接,其键为生产者组名称,其值为Map键值对(通道对象(Channel),客户端信息(ClientChannelInfo)),其中客户端信息就包含了客户端ID,客户端使用的语言以及版本等信息。
经过上面分析,实现一个获取全部生产者连接信息将变得非常简单。
本文由于篇幅问题,不展示全部代码,主要总结一下开发一个RocketMQ的几个核心步骤,代码已提交到github仓库:
链接:https://github.com/apache/rocketmq/pull/2940
首先我们看一下该命令在IDEA中的测试效果,运行命令如下:
命令运行输出为:
打包部署后命令的使用说明如下:
其中-b broker地址与-c cluster集群名称两个参数二选一,主用用于路由。
编写一个RocketMQ运维命令通常具备如下几个要点:
- 创建自己的命令处理类,并在MQAdminStartup中调用initCommand初始化命令。
- 定义命令请求CODE,RocketMQ为每一个请求定义了对应的RequestCode。
- 在Broker端的AdminBrokerProcessor中添加对该请求Code的处理逻辑
为了更加形象完整的展示开发一个运维命令,我将本次提交记录截图展示给大家: