【实战】手把手教你从 0 到 1 搭建一套 RocketMQ 集群

简介: 大家好,我是君哥。今天来分享怎样搭建 RocketMQ 集群。

本文搭建集群使用的环境是 2 个云主机,架构如下:

微信图片_20221213120836.png在 47.xx.xx.xx 和 39.xx.xx.xx 上分别部署一个 Name Server 和 Broker 主节点,这里不搭建从节点。也就是官网介绍的 2m-noslave 构建模式。


注意:官网有三种配置模式:2m-2s-sync、2m-2s-async、2m-noslave。这三种配置都是使用异步刷盘策略:ASYNC_FLUSH。


集群搭建成功后,Broker 会向 Name Server 注册 Topic 路由信息,Producer 和 Consumer 则从 Name Server 获取路由信息,然后 Producer 根据路由信息向 Broker 发送消息,Consumer 则根据路由信息从 Broker 拉取消息。

1 准备工作

要安装 RocketMQ,首先需要在云主机上安装 Java 环境,Maven 环境。这里就不做详细介绍了。


Java 和 Maven 环境安装好以后,从官网下载最新版本,地址如下:

https://dlcdn.apache.org/rocketmq/4.9.4/rocketmq-all-4.9.4-bin-release.zip

下载完成后,进行解压和编译,执行如下命令:

> unzip rocketmq-all-4.9.4-source-release.zip
> cd rocketmq-all-4.9.4-source-release/
> mvn -Prelease-all -DskipTests clean install -U
> cd distribution/target/rocketmq-4.9.4/rocketmq-4.9.4

看到下图输出时,编译成功:

微信图片_20221213120901.png

2 启动

2.1 启动 Name Server

因为我的云主机内存比较小,而 RocketMQ 默认启动 Name Server 需要的 JVM 堆内存默认是 4g,所以需要修改默认堆内存。修改文件为:

rocketmq-all-4.9.4-source-release/distribution/target/rocketmq-4.9.4/rocketmq-4.9.4/bin/runserver.sh

修改后的配置如下:

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

修改完成后,执行下面命令:

nohup sh bin/mqnamesrv &

启动成功后,nohup.out 文件中打印如下日志:

The Name Server boot success. serializeType=JSON

搭建好一台机器后,用同样的方式搭建第二台机器。

2.2 启动 Broker

同样,RocketMQ 启动 Broker 需要的 JVM 堆内存默认是 8g,所以需要修改堆内存。修改文件为:

rocketmq-all-4.9.4-source-release/distribution/target/rocketmq-4.9.4/rocketmq-4.9.4/bin/runbroker.sh

修改后的配置如下:

JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m"

创建 conf.properties 文件,内容如下:

brokerClusterName = MyTestCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
namesrvAddr=127.0.0.1:9876;47.xx.xx.xx:9876

配置好后,启动 broker-a 节点,启动 命令如下:

nohup bash bin/mqbroker -c conf/broker.properties &

Broker 启动成功后,Name Server 的日志如下图:

微信图片_20221213120926.png

用同样的方式启动 broker-b,conf.properties 文件配置如下:

#集群名称
brokerClusterName = MyTestCluster
#broker名称
brokerName = broker-b
brokerId = 0
#删除消息存储过期文件的时间为凌晨4点
deleteWhen = 04
#未发生更新的消息存储文件的保留时长为48小时,48小时后过期,将会被删除
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
namesrvAddr=127.0.0.1:9876;xx.xx.xx.xx:9876

启动成功后,执行 mqadmin 命令查看集群信息:

[root@rocketmq-4.9.4]# ./bin/mqadmin topicList -n 127.0.0.1:9876
MyTestCluster
RMQ_SYS_TRANS_HALF_TOPIC
BenchmarkTest
OFFSET_MOVED_EVENT
iZ8vbfyc7hfzygtpgapblyZ
TBW102
SELF_TEST_TOPIC
DefaultCluster
iZ2ze4m2ri7irk6au5mbfgZ
SCHEDULE_TOPIC_XXXX
DefaultCluster_REPLY_TOPIC
broker-b
broker-a
MyTestCluster_REPLY_TOPIC

注意:执行上面命令需要修改 bin/tools.sh 中的 JVM 参数,配置如下:

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=128m"

3 dashboard

3.1 安装

安装 dashboard,需要编译源代码,源码 github 地址如下:

https://github.com/apache/rocketmq-dashboard

下载之后,修改 application.yml 参数,我这里只修改了 Name Server 地址:

rocketmq:
  config:
    namesrvAddrs:
      - 127.0.0.1:9876
      - 47.xx.xx.xx:9876

然后执行 Maven 打包命令,打出 jar 包:

mvn clean package -Dmaven.test.skip=true

打好 jar 包后上传到服务器,执行下面命令启动:

java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar

启动成功后,输出下图的日志:

微信图片_20221213120954.png

3.2 测试

浏览器输入 http://39.xx.xx.xx:8080/ 界面如下:

微信图片_20221213121012.png

使用下面命令创建一个 Topic,名字叫 MyTestTopic:

sh bin/mqadmin updateTopic -n 127.0.0.1:9876\;47.92.71.246:9876  -c MyTestCluster  -t MyTestTopic

这是可以在界面上看到创建的 Topic,如下图:

微信图片_20221213121051.png

使用命令发送一条消息:

[root@rocketmq-4.9.4]# sh bin/mqadmin sendMessage -n 127.0.0.1:9876 -t MyTestTopic -p 'hello test message'
#Broker Name                      #QID  #Send Result            #MsgId
broker-a                          1     SEND_OK                 7F000001D3C3339097527B50D1740000

在界面上查看消息,如下图:

微信图片_20221213121112.png

4 总结

这篇文章主要讲述了 RocketMQ 集群的搭建,希望能对大家理解 RocketMQ 有所帮助。


相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
7月前
|
消息中间件 大数据 关系型数据库
RocketMQ实战—3.基于RocketMQ升级订单系统架构
本文主要介绍了基于MQ实现订单系统核心流程的异步化改造、基于MQ实现订单系统和第三方系统的解耦、基于MQ实现将订单数据同步给大数据团队、秒杀系统的技术难点以及秒杀商详页的架构设计和基于MQ实现秒杀系统的异步化架构。
523 64
RocketMQ实战—3.基于RocketMQ升级订单系统架构
|
2月前
|
消息中间件 Ubuntu Java
SpringBoot整合MQTT实战:基于EMQX实现双向设备通信
本教程指导在Ubuntu上部署EMQX 5.9.0并集成Spring Boot实现MQTT双向通信,涵盖服务器搭建、客户端配置及生产实践,助您快速构建企业级物联网消息系统。
928 1
|
7月前
|
消息中间件 Java 数据库
RocketMQ实战—9.营销系统代码初版
本文主要介绍了实现营销系统四大促销场景的代码初版:全量用户推送促销活动、全量用户发放优惠券、特定用户推送领取优惠券消息、热门商品定时推送。
RocketMQ实战—9.营销系统代码初版
|
7月前
|
消息中间件 搜索推荐 调度
RocketMQ实战—8.营销系统业务和方案介绍
本文详细介绍了电商营销系统的业务流程、技术架构及挑战解决方案。涵盖核心交易与支付后履约流程,优惠券和促销活动的发券、领券、用券、销券机制,以及会员与推送的数据库设计。技术架构基于Nacos服务注册中心、Dubbo RPC框架、RocketMQ消息中间件和XXLJob分布式调度工具,实现系统间高效通信与任务管理。针对千万级用户量下的推送和发券场景,提出异步化、分片处理与惰性发券等优化方案,解决高并发压力。同时,通过RocketMQ实现系统解耦,提升扩展性,并利用XXLJob完成爆款商品推荐的分布式调度推送。整体设计确保系统在大规模用户场景下的性能与稳定性。
RocketMQ实战—8.营销系统业务和方案介绍
|
7月前
|
消息中间件 存储 NoSQL
RocketMQ实战—6.生产优化及运维方案
本文围绕RocketMQ集群的使用与优化,详细探讨了六个关键问题。首先,介绍了如何通过ACL配置实现RocketMQ集群的权限控制,防止不同团队间误用Topic。其次,讲解了消息轨迹功能的开启与追踪流程,帮助定位和排查问题。接着,分析了百万消息积压的处理方法,包括直接丢弃、扩容消费者或通过新Topic间接扩容等策略。此外,提出了针对RocketMQ集群崩溃的金融级高可用方案,确保消息不丢失。同时,讨论了为RocketMQ增加限流功能的重要性及实现方式,以提升系统稳定性。最后,分享了从Kafka迁移到RocketMQ的双写双读方案,确保数据一致性与平稳过渡。
|
5月前
|
消息中间件 存储 Kafka
一文带你从入门到实战全面掌握RocketMQ核心概念、架构部署、实践应用和高级特性
本文详细介绍了分布式消息中间件RocketMQ的核心概念、部署方式及使用方法。RocketMQ由阿里研发并开源,具有高性能、高可靠性和分布式特性,广泛应用于金融、互联网等领域。文章从环境搭建到消息类型的实战(普通消息、延迟消息、顺序消息和事务消息)进行了全面解析,并对比了三种消费者类型(PushConsumer、SimpleConsumer和PullConsumer)的特点与适用场景。最后总结了使用RocketMQ时的关键注意事项,如Topic和Tag的设计、监控告警的重要性以及性能与可靠性的平衡。通过学习本文,读者可掌握RocketMQ的使用精髓并灵活应用于实际项目中。
3830 9
 一文带你从入门到实战全面掌握RocketMQ核心概念、架构部署、实践应用和高级特性
|
8月前
|
边缘计算 负载均衡 NoSQL
FreeMQTT Plus: 一个新型 MQTT Broker 集群的实现
FreeMQTT Plus 是一款基于 MQTT 协议的高性能消息中间件,采用分布式架构解决单点瓶颈问题。其核心由 Nginx 负载均衡器、黑(A)节点(MQTT Broker)、白(B)节点(消息路由)和日志(L)节点组成。通过无主从设计,支持高可用性、负载均衡与灵活扩展。针对会话同步、消息路由等挑战,FreeMQTT Plus 利用 MQTT5 特性定义元命令,实现节点间高效通信,无需依赖第三方组件。适用于物联网海量设备接入与高并发场景,为未来边缘计算和多级集群部署提供坚实基础。
1377 74
|
9月前
|
消息中间件 监控 RocketMQ
Docker部署RocketMQ5.2.0集群
本文详细介绍了如何使用Docker和Docker Compose部署RocketMQ 5.2.0集群。通过创建配置文件、启动集群和验证容器状态,您可以快速搭建起一个RocketMQ集群环境。希望本文能够帮助您更好地理解和应用RocketMQ,提高消息中间件的部署和管理效率。
1234 91
|
7月前
|
消息中间件 Java 中间件
RocketMQ实战—2.RocketMQ集群生产部署
本文主要介绍了大纲什么是消息中间件、消息中间件的技术选型、RocketMQ的架构原理和使用方式、消息中间件路由中心的架构原理、Broker的主从架构原理、高可用的消息中间件生产部署架构、部署一个小规模的RocketMQ集群进行压测、如何对RocketMQ集群进行可视化的监控和管理、进行OS内核参数和JVM参数的调整、如何对小规模RocketMQ集群进行压测、消息中间件集群生产部署规划梳理。
RocketMQ实战—2.RocketMQ集群生产部署
|
7月前
|
消息中间件 NoSQL 大数据
RocketMQ实战—5.消息重复+乱序+延迟的处理
本文围绕RocketMQ的使用与优化展开,分析了优惠券重复发放的原因及解决方案。首先,通过案例说明了优惠券系统因消息重复、数据库宕机或消费失败等原因导致重复发券的问题,并提出引入幂等性机制(如业务判断法、Redis状态判断法)来保证数据唯一性。其次,探讨了死信队列在处理消费失败时的作用,以及如何通过重试和死信队列解决消息处理异常。接着,分析了订单库同步中消息乱序的原因,提出了基于顺序消息机制的代码实现方案,确保消息按序处理。此外,介绍了利用Tag和属性过滤数据提升效率的方法,以及延迟消息机制优化定时退款扫描的功能。最后,总结了RocketMQ生产实践中的经验.
RocketMQ实战—5.消息重复+乱序+延迟的处理