第一次尝试为Apache顶级开源项目贡献代码

简介: 第一次尝试为Apache顶级开源项目贡献代码

本文首先先再次回到上述几篇关于公司升级ACL这个事情上来,通常涉及到服务器版本的升级,一旦涉及到版本的升级,兼容性测试是一个必不可少的工作。


RocketMQ客户端版本众多,并且RocketMQ的多语言生态逐渐完善,客户端目前已支持C++、.Net、Go、Python等主流编程语言,服务端版本的升级,其兼容性如何能充分考虑现有情况呢?


结合公司的实际,公司主要的技术栈以Java为主,但Python,Go等技术栈在某些部门也有使用,那如何通过技术手段获取待升级集群所有的客户端连接方式就显得非常重要

通过细心留意RocketMQ提供的运维命令,我们可以得知官方提供了如下两个命令用于查看客户端的连接信息:


  • producerConnection
    用于查看消息发送者的客户端连接信息
  • consumerConnection
    用于查看消息消费者的客户端连接信息


温馨提示:我们可以通过如下命令获取RocketMQ支持的所有运维命令,每一个运维命令使用 -h 即可获取该命令的帮助指南。

sh ./mqadmin   // 该命令会罗列所支持的运维命令列表即概要说明,如下图所示:

47c46268b1aaea0cb9d0f809666c5dc9.png


1、官方命令及其缺陷


看到曙光了,接下来先简单介绍一下官方提供的命令与使用详解。


1.1 producerConnection概述


da55123d8ac030a7fdf7542d16808e8b.png

其参数说明如下:


  • -n name server 服务器地址
  • -g
    生产者组名称
  • -t
    topic名称,值得说明的是这个topic的作用并不是必须传入生产者组对应的消息发送topic,而是用于路由寻址,即该命令需要发送到哪些Broker上执行。


基本的使用示例如下:

c6d1c3920db7e70504b5601c232a9830.png

输出列依次为序号、客户端ID(clientId)、客户端IP与端口号、客户端语言、客户端版本。


上述功能非常实用,但在实际的使用过程中,特别是开源版本的MQ,生产者组的概念比较弱化,在运维层面也不向消费者组这样可管控,故这个命令中的 -g 参数,其实在实际过程中要统一采集就变的非常困难,而且RocketMQ并没有提供一个获取所有生产者组的功能,从而无法通过脚本化语言迅速提取相关信息。


在介绍如何解决该问题后,我们继续看一下获取消费组相关的信息。


1.2 consumerConnection概述


通过consumerConnection可以获取消费组的相关信息,其使用示例如下:

2d7ea066208c3fc463ea839b1f26b86e.png

由于消费组在实际生产中都会加以控制,并且是可运维的(可以关闭自动创建消费组,项目组只有申请后才可使用),并且尽管rocketmq同样没有提供获取消费组列表的命令,但提供了对应的API。


可以通过rocketmq-console中提供的命令,获取所有的消费组列表,然后遍历并依次通过命令提取消费组的详情,从而可以得知当前集群所有的客户端连接方式,对兼容性缩写测试范围打下坚实基础。


2、解决方案


通过上面的介绍得知由于开源版本的RocketMQ弱化了生产者组(Producer Group)的概念,目前只有在事务消息时会被使用到,故在实际生产实践过程中发现无法实现对生产者组进行强管控,比较难获取集群中当前所有的生产者信息。


为了解决版本升级需要进行兼容性测试缩写测试范围的问题,我们希望能够有一个运维命令,能够获取当前集群中所有的客户端连接信息。


那我们能否定制化一个运维命令实现获取所有生产者的连接信息,既然官方提供了producerConnection命令获取单个生产者组信息,服务端应该是会存储所有生产者组的连接信息,只是官方没有提供相关的命令而已,为了验证,我们可以去看一下producerConnection命令在服务端的处理逻辑。

f6360bc5a8bce696b1b2061d3d0b490f.png


从服务端代码可知,在服务端会使用一个Map存储所有的生产者客户端连接,其键为生产者组名称,其值为Map键值对(通道对象(Channel),客户端信息(ClientChannelInfo)),其中客户端信息就包含了客户端ID,客户端使用的语言以及版本等信息。


经过上面分析,实现一个获取全部生产者连接信息将变得非常简单。


本文由于篇幅问题,不展示全部代码,主要总结一下开发一个RocketMQ的几个核心步骤,代码已提交到github仓库:


链接:https://github.com/apache/rocketmq/pull/2940


首先我们看一下该命令在IDEA中的测试效果,运行命令如下:

2ef514fa2d046af30393f7cd1aa181ea.png

命令运行输出为:

a1419f1b74d90dfced3bb888a511811d.png

打包部署后命令的使用说明如下:

1f60e2c96828adb3b85fbaae1ecb4286.png

其中-b broker地址与-c cluster集群名称两个参数二选一,主用用于路由。

编写一个RocketMQ运维命令通常具备如下几个要点:


  • 创建自己的命令处理类,并在MQAdminStartup中调用initCommand初始化命令。
  • 定义命令请求CODE,RocketMQ为每一个请求定义了对应的RequestCode。
  • 在Broker端的AdminBrokerProcessor中添加对该请求Code的处理逻辑


为了更加形象完整的展示开发一个运维命令,我将本次提交记录截图展示给大家:

f0050ddce011e5aee54e27f112be678d.png


相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
2月前
|
SQL 分布式计算 HIVE
Apache Hudi入门指南(含代码示例)
Apache Hudi入门指南(含代码示例)
76 0
|
2月前
|
分布式计算 Apache 开发工具
一行代码成为Apache Contributor
一行代码成为Apache Contributor
33 0
|
4月前
|
SQL 数据可视化 大数据
【开源项目推荐】Apache Superset——最优秀的开源数据可视化与数据探索平台
【开源项目推荐】Apache Superset——最优秀的开源数据可视化与数据探索平台
150 1
|
4月前
|
Dubbo 应用服务中间件 Apache
恭喜 Apache Dubbo 和 Nacos 荣获开放原子“2023年度生态开源项目”
恭喜 Apache Dubbo 和 Nacos 荣获开放原子“2023年度生态开源项目”
|
9月前
|
安全 druid Java
【紧急】Apache Log4j任意代码执行漏洞安全风险升级修复教程
近期一个 Apache Log4j 远程代码执行漏洞细节被公开,攻击者利用漏洞可以远程执行代码。经过分析,该组件存在Java JNDI注入漏洞,当程序将用户输入的数据进行日志,即可触发此漏洞,成功利用此漏洞可以在目标服务器上执行任意代码。
223 1
|
12月前
|
开发框架 .NET Apache
301重定向代码合集(iis,asp,php,asp.net,apache)
301重定向代码合集(iis,asp,php,asp.net,apache)
278 0
|
消息中间件 自然语言处理 Cloud Native
最高等级!Apache RocketMQ 入选可信开源项目星云象限领导型象限
最高等级!Apache RocketMQ 入选可信开源项目星云象限领导型象限
|
自然语言处理 Dubbo 搜索推荐
又一国产开源项目走向世界,百度RPC框架Apache bRPC正式成为ASF顶级项目
Apache bRPC的前身是百度内部的一个RPC框架,采用C++语言编写,号称工业级别,在百度内部众多基础和业务系统中得到大规模的应用,是属于实战出来的,有很好的落地效果和"底子"。
359 0
|
供应链 安全 IDE
Apache CouchDB 代码执行漏洞(CVE-2022-24706)
Apache CouchDB 代码执行漏洞(CVE-2022-24706)
|
算法 Java 编译器
Apache Flume-自定义拦截器-代码逻辑梳理|学习笔记
快速学习 Apache Flume-自定义拦截器-代码逻辑梳理
214 0
Apache Flume-自定义拦截器-代码逻辑梳理|学习笔记

推荐镜像

更多