AI 助理
备案控制台
开发者社区 微服务 文章 正文

RocketMQ下载安装、集群搭建保姆级教程

2024-06-12 209
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云防火墙，500元 1000GB
简介： RocketMQ下载安装、集群搭建保姆级教程

1.下载安装

前置条件：

JDK环境

下载地址：

下载 | RocketMQ

博主下载的是4.7.1版本。source是源码，Binary是可运行程序。


2.配置

server和broker的启动脚本里，给JVM的内存都是几个G，如果机器扛不住，可以修改一下：

runserver.sh，博主改为了：


runbroker.sh，博主改为了：

3.测试

在config/broker.config中添加如下配置：

autoCreateTopicEnable=true

#aclEnable=true

启动name server：

nohup bin/mqnamesrv &

启动broker：

nohup bin/mqbroker -c conf/broker.conf &

RocketMQ安装目录下自带一个测试demo，运行后会自动向MQ中插入一千条数据： 首先配置一下环境变量

export NAMESRV_ADDR='localhost:9876'

如果脚本执行失败记得关一下防火墙试试。

然后运行脚本：

bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

4.集群配置

4.1.规划

这里以搭建一个两节点，两主两备的集群为例，展示rocketMq的集群搭建。

集群规划：

ip nameserver broker
192.1688.31.10 nameserver broker-a、broker-b-s
192.1688.31.20 nameserver broker-b、broker-a-s

备注：broker-a-s即broker-a的备份，broker-b-s即broker-b的备份。

4.2.环境准备

在/config目录下会有配置模板，其中提供了两主两从这种模式的配置模板，async表示主从之间是进行异步复制，sync表示主从之间是进行同步复制。这里博主用的是异步复制的模式。


所有节点上先增加hostname便于DNS解析：

vim /etc/hosts

#nameserver
192.168.31.10 rocketmq-nameserver1
192.168.31.20 rocketmq-nameserver2
#broker
192.168.31.10 rocketmq-master1
192.168.31.10 rocketmq-slave2
192.168.31.20 rocketmq-master2
192.168.31.20 rocketmq-slave1

配置后重启网卡：


systemctl restart network


关闭防火墙：


# 关闭防火墙

systemctl stop firewalld.service

# 查看防火墙的状态

firewall-cmd --state

# 禁止firewall开机启动

systemctl disable firewalld.service


创建好需要的目录：


mkdir /usr/local/rocketmq


mkdir /usr/local/rocketmq/store

mkdir /usr/local/rocketmq/store/commitlog

mkdir /usr/local/rocketmq/store/consumequeue

mkdir /usr/local/rocketmq/store/index

mkdir /usr/local/rocketmq/store-1

mkdir /usr/local/rocketmq/store-1/commitlog

mkdir /usr/local/rocketmq/store-1/consumequeue

mkdir /usr/local/rocketmq/store-1/index

mkdir /usr/local/rocketmq/store-2

mkdir /usr/local/rocketmq/store-2/commitlog

mkdir /usr/local/rocketmq/store-2/consumequeue

mkdir /usr/local/rocketmq/store-2/index

mkdir /usr/local/rocketmq/store-3

mkdir /usr/local/rocketmq/store-3/commitlog

mkdir /usr/local/rocketmq/store-3/consumequeue

mkdir /usr/local/rocketmq/store-3/index

4.3.节点配置

4.3.1.master1

配置broker-a.properties:

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/usr/local/rocketmq/store

#commitLog 存储路径

storePathCommitLog=/usr/local/rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/usr/local/rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/usr/local/rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/usr/local/rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

4.3.2.slave2

配置broker-b-s.properties:

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=11011

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/usr/local/rocketmq/store-1

#commitLog 存储路径

storePathCommitLog=/usr/local/rocketmq/store-1/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/usr/local/rocketmq/store-1/consumequeue

#消息索引存储路径

storePathIndex=/usr/local/rocketmq/store-1/index

#checkpoint 文件存储路径

storeCheckpoint=/usr/local/rocketmq/store-1/checkpoint

#abort 文件存储路径

abortFile=/usr/local/rocketmq/store-1/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

4.3.3.master2

配置broker-b.properties:

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/usr/local/rocketmq/store-2

#commitLog 存储路径

storePathCommitLog=/usr/local/rocketmq/store-2/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/usr/local/rocketmq/store-2/consumequeue

#消息索引存储路径

storePathIndex=/usr/local/rocketmq/store-2/index

#checkpoint 文件存储路径

storeCheckpoint=/usr/local/rocketmq/store-2/checkpoint

#abort 文件存储路径

abortFile=/usr/local/rocketmq/store-2/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

4.3.4.slave1

配置broker-a-s.properties:

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=11011

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/usr/local/rocketmq/store-3

#commitLog 存储路径

storePathCommitLog=/usr/local/rocketmq/store-3/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/usr/local/rocketmq/store-3/consumequeue

#消息索引存储路径

storePathIndex=/usr/local/rocketmq/store-3/index

#checkpoint 文件存储路径

storeCheckpoint=/usr/local/rocketmq/store-3/checkpoint

#abort 文件存储路径

abortFile=/usr/local/rocketmq/store-3/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SLAVE

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

4.4.启动

两个节点先分别启动name server：

nohup rocketmq的bin目录所在的全路径/mqnamesrv &

然后两个节点分别用不同的配置文件启动两个broker:

nohup ocketmq的bin目录所在的全路径/mqbroker -c rocketmq的bin目录所在的全路径/2m-2s-async/xxx.properties &

启动后用jps查看一下，应该有一个name server、两个broker进程。

4.5.测试

bin目录下会有管理控制台命令mqadmin，用来查看mq的相关消息，用一下命令查看集群情况：

bin/mqadmin clusterList -n rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

文章标签：
云消息队列 MQ
云防火墙
消息中间件
RocketMQ
存储
Java
文件存储
关键词：
云消息队列 MQ集群
云消息队列 MQ教程
云消息队列 MQ安装
云消息队列 MQ下载
云消息队列 MQ集群搭建
相关实践学习
消息队列RocketMQ版：基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能，涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列：消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验：基于MNS，0基础轻松构建 Web Client 本节课带您一起基于MNS，0基础轻松构建 Web Client
_BugMan
目录
相关文章
1558614396209963
|
2月前
|
边缘计算 负载均衡 NoSQL
FreeMQTT Plus: 一个新型 MQTT Broker 集群的实现
FreeMQTT Plus 是一款基于 MQTT 协议的高性能消息中间件，采用分布式架构解决单点瓶颈问题。其核心由 Nginx 负载均衡器、黑（A）节点（MQTT Broker）、白（B）节点（消息路由）和日志（L）节点组成。通过无主从设计，支持高可用性、负载均衡与灵活扩展。针对会话同步、消息路由等挑战，FreeMQTT Plus 利用 MQTT5 特性定义元命令，实现节点间高效通信，无需依赖第三方组件。适用于物联网海量设备接入与高并发场景，为未来边缘计算和多级集群部署提供坚实基础。
1558614396209963
629 74
蓝易云
|
3月前
|
消息中间件 监控 RocketMQ
Docker部署RocketMQ5.2.0集群
本文详细介绍了如何使用Docker和Docker Compose部署RocketMQ 5.2.0集群。通过创建配置文件、启动集群和验证容器状态，您可以快速搭建起一个RocketMQ集群环境。希望本文能够帮助您更好地理解和应用RocketMQ，提高消息中间件的部署和管理效率。
蓝易云
428 91
1288912195458132
|
9月前
|
消息中间件 Linux API
centos7 安装rabbitmq自定义版本及配置
centos7 安装rabbitmq自定义版本及配置
1288912195458132
366 2
栈江湖
|
5月前
|
消息中间件 存储 运维
2024最全RabbitMQ集群方案汇总
本文梳理了RabbitMQ集群的几种方案，主要包括普通集群、镜像集群（高可用）、Quorum队列（仲裁队列）、Streams集群模式（高可用+负载均衡）和插件方式。重点介绍了每种方案的特点、优缺点及适用场景。搭建步骤包括安装Erlang和RabbitMQ、配置集群节点、修改hosts文件、配置Erlang Cookie、启动独立节点并创建集群，以及配置镜像队列以提高可用性和容错性。推荐使用Quorum队列与Streams模式，其中Quorum队列适合高可用集群，Streams模式则同时支持高可用和负载均衡。此外，还有Shovel和Federation插件可用于特定场景下的集群搭建。
栈江湖
839 2
栈江湖
|
5月前
|
消息中间件 RocketMQ
2024最全RocketMQ集群方案汇总
在研究RocketMQ集群方案时，发现网上存在诸多不一致之处，如组件包含NameServer、Broker、Proxy等。通过查阅官方文档，了解到v4.x和v5.x版本的差异。v4.x部署模式包括单主、多主、多主多从（异步复制、同步双写），而v5.x新增Local与Cluster模式，主要区别在于Broker和Proxy是否同进程部署。Local模式适合平滑升级，Cluster模式适合高可用需求。不同模式下，集群部署方案大致相同，涵盖单主、多主、多主多从等模式，以满足不同的高可用性和性能需求。
栈江湖
739 0
nanshaws
|
7月前
|
消息中间件 存储 JSON
rabbitmq基础教程（ui，java，springamqp）
本文提供了RabbitMQ的基础教程，包括如何使用UI创建队列和交换机、Java代码操作RabbitMQ、Spring AMQP进行消息发送和接收，以及如何使用不同的交换机类型（fanout、direct、topic）进行消息路由。
nanshaws
83 0
rabbitmq基础教程（ui，java，springamqp）
nanshaws
|
7月前
|
消息中间件 数据安全/隐私保护 Docker
Docker安装rabbitmq
如何使用Docker安装和配置RabbitMQ服务，包括拉取RabbitMQ镜像、创建容器、配置持久化和访问管理界面的步骤。
nanshaws
538 0
Docker安装rabbitmq
qhhf_地道酬勤
|
8月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署（基于Docker容器），Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署（基于Docker容器），docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程，拉取镜像、运行容器
qhhf_地道酬勤
946 3
mall在linux环境下的部署（基于Docker容器），Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
游客j4mujezz7vm7y
|
8月前
|
消息中间件 Linux
centos7安装rabbitmq
centos7安装rabbitmq
游客j4mujezz7vm7y
168 2
aliyun7689123603-22772
|
9月前
|
消息中间件 存储 负载均衡
RabbitMQ的集群是如何实现的？
8月更文挑战第28天
aliyun7689123603-22772
147 6

热门文章

最新文章

  • 1
    美团面试：对比分析 RocketMQ、Kafka、RabbitMQ 三大MQ常见问题？
  • 2
    RocketMQ实战—10.营销系统代码优化
  • 3
    RocketMQ实战—9.营销系统代码初版
  • 4
    MQTT常见问题之单个消息发送数据不能超过64k如何解决
  • 5
    开源paho mqtt接入物联网平台【python】
  • 6
    Golang使用协程进行mqtt的publish信息性能测试
  • 7
    消息队列RocketMQ版：消费异常运维排查体验
  • 8
    RocketMQ源码调试环境搭建
  • 9
    rabbitmq_学习_01_rabbitmq安装
  • 10
    五分钟带你玩转rocketMQ（十）实战分布式事务
  • 1
    MetaQ/RocketMQ 原理问题之RocketMQ DLedger融合模式的问题如何解决
    94
  • 2
    MetaQ/RocketMQ 原理问题之避免重复消费问题如何解决
    182
  • 3
    MetaQ/RocketMQ 原理问题之在解耦场景中，消息队列工作的问题如何解决
    93
  • 4
    面试题Kafka问题之RabbitMQ的扩展和二次开发如何解决
    85
  • 5
    面试题Kafka问题之RabbitMQ的路由配置工作如何解决
    198
  • 6
    架构设计篇问题之消息队列（MQ）在微服务系统中问题如何解决
    73
  • 7
    Apache RocketMQ ACL 2.0 全新升级
    13733
  • 8
    云消息队列 RabbitMQ 版入门训练营，解锁对比开源优势与零基础实战
    213
  • 9
    说说RabbitMQ延迟队列实现原理？
    162
  • 10
    docker安装rabbitmq并配置hyperf使用
    201

    • 相关课程

    更多
  • 消息队列 RocketMQ 消息集成
  • 消息队列 MNS 入门课程
  • RocketMQ知识精讲与项目实战（第一阶段）
  • RocketMQ知识精讲与项目实战（第二阶段）
  • RocketMQ知识精讲与项目实战（第三阶段）
  • 微服务实战-RocketMQ Binder

    • 相关电子书

    更多
  • RocketMQ Client-GO 介绍
  • RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • 基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台

    • 相关实验场景

    更多
  • 部署RabbitMQ
  • RocketMQ监控/告警一站式搭建应用
  • RocketMQ运维自我实践
  • RocketMQ的常规运维实践应用
  • RocketMQ中使用Java客户端发送消息和消费的应用
  • RocketMQ一站式入门使用
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月