备案控制台
开发者社区 微服务 文章 正文

RocketMQ下载安装、集群搭建保姆级教程

2024-06-12 27
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： RocketMQ下载安装、集群搭建保姆级教程

1.下载安装

前置条件：

JDK环境

下载地址：

下载 | RocketMQ

博主下载的是4.7.1版本。source是源码，Binary是可运行程序。


2.配置

server和broker的启动脚本里，给JVM的内存都是几个G，如果机器扛不住，可以修改一下：

runserver.sh，博主改为了：


runbroker.sh，博主改为了：

3.测试

在config/broker.config中添加如下配置：

autoCreateTopicEnable=true

#aclEnable=true

启动name server：

nohup bin/mqnamesrv &

启动broker：

nohup bin/mqbroker -c conf/broker.conf &

RocketMQ安装目录下自带一个测试demo，运行后会自动向MQ中插入一千条数据： 首先配置一下环境变量

export NAMESRV_ADDR='localhost:9876'

如果脚本执行失败记得关一下防火墙试试。

然后运行脚本：

bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

4.集群配置

4.1.规划

这里以搭建一个两节点，两主两备的集群为例，展示rocketMq的集群搭建。

集群规划：

ip nameserver broker
192.1688.31.10 nameserver broker-a、broker-b-s
192.1688.31.20 nameserver broker-b、broker-a-s

备注：broker-a-s即broker-a的备份，broker-b-s即broker-b的备份。

4.2.环境准备

在/config目录下会有配置模板，其中提供了两主两从这种模式的配置模板，async表示主从之间是进行异步复制，sync表示主从之间是进行同步复制。这里博主用的是异步复制的模式。


所有节点上先增加hostname便于DNS解析：

vim /etc/hosts

#nameserver
192.168.31.10 rocketmq-nameserver1
192.168.31.20 rocketmq-nameserver2
#broker
192.168.31.10 rocketmq-master1
192.168.31.10 rocketmq-slave2
192.168.31.20 rocketmq-master2
192.168.31.20 rocketmq-slave1

配置后重启网卡：


systemctl restart network


关闭防火墙：


# 关闭防火墙

systemctl stop firewalld.service

# 查看防火墙的状态

firewall-cmd --state

# 禁止firewall开机启动

systemctl disable firewalld.service


创建好需要的目录：


mkdir /usr/local/rocketmq


mkdir /usr/local/rocketmq/store

mkdir /usr/local/rocketmq/store/commitlog

mkdir /usr/local/rocketmq/store/consumequeue

mkdir /usr/local/rocketmq/store/index

mkdir /usr/local/rocketmq/store-1

mkdir /usr/local/rocketmq/store-1/commitlog

mkdir /usr/local/rocketmq/store-1/consumequeue

mkdir /usr/local/rocketmq/store-1/index

mkdir /usr/local/rocketmq/store-2

mkdir /usr/local/rocketmq/store-2/commitlog

mkdir /usr/local/rocketmq/store-2/consumequeue

mkdir /usr/local/rocketmq/store-2/index

mkdir /usr/local/rocketmq/store-3

mkdir /usr/local/rocketmq/store-3/commitlog

mkdir /usr/local/rocketmq/store-3/consumequeue

mkdir /usr/local/rocketmq/store-3/index

4.3.节点配置

4.3.1.master1

配置broker-a.properties:

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/usr/local/rocketmq/store

#commitLog 存储路径

storePathCommitLog=/usr/local/rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/usr/local/rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/usr/local/rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/usr/local/rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

4.3.2.slave2

配置broker-b-s.properties:

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=11011

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/usr/local/rocketmq/store-1

#commitLog 存储路径

storePathCommitLog=/usr/local/rocketmq/store-1/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/usr/local/rocketmq/store-1/consumequeue

#消息索引存储路径

storePathIndex=/usr/local/rocketmq/store-1/index

#checkpoint 文件存储路径

storeCheckpoint=/usr/local/rocketmq/store-1/checkpoint

#abort 文件存储路径

abortFile=/usr/local/rocketmq/store-1/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

4.3.3.master2

配置broker-b.properties:

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/usr/local/rocketmq/store-2

#commitLog 存储路径

storePathCommitLog=/usr/local/rocketmq/store-2/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/usr/local/rocketmq/store-2/consumequeue

#消息索引存储路径

storePathIndex=/usr/local/rocketmq/store-2/index

#checkpoint 文件存储路径

storeCheckpoint=/usr/local/rocketmq/store-2/checkpoint

#abort 文件存储路径

abortFile=/usr/local/rocketmq/store-2/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=SYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

4.3.4.slave1

配置broker-a-s.properties:

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=11011

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/usr/local/rocketmq/store-3

#commitLog 存储路径

storePathCommitLog=/usr/local/rocketmq/store-3/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/usr/local/rocketmq/store-3/consumequeue

#消息索引存储路径

storePathIndex=/usr/local/rocketmq/store-3/index

#checkpoint 文件存储路径

storeCheckpoint=/usr/local/rocketmq/store-3/checkpoint

#abort 文件存储路径

abortFile=/usr/local/rocketmq/store-3/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SLAVE

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

4.4.启动

两个节点先分别启动name server：

nohup rocketmq的bin目录所在的全路径/mqnamesrv &

然后两个节点分别用不同的配置文件启动两个broker:

nohup ocketmq的bin目录所在的全路径/mqbroker -c rocketmq的bin目录所在的全路径/2m-2s-async/xxx.properties &

启动后用jps查看一下，应该有一个name server、两个broker进程。

4.5.测试

bin目录下会有管理控制台命令mqadmin，用来查看mq的相关消息，用一下命令查看集群情况：

bin/mqadmin clusterList -n rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

文章标签：
云消息队列 MQ
云防火墙
消息中间件
RocketMQ
存储
Java
文件存储
关键词：
云消息队列 MQ教程
云消息队列 MQ安装
云消息队列 MQ保姆教程
云消息队列 MQ下载
云消息队列 MQ集群
相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv，使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列：消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验：基于MNS，0基础轻松构建 Web Client 本节课带您一起基于MNS，0基础轻松构建 Web Client
_BugMan
目录
相关文章
全干程序员demo
|
27天前
|
消息中间件 Java RocketMQ
RocketMQ实战教程之RocketMQ安装
这是一篇关于RocketMQ安装的实战教程，主要介绍了在CentOS系统上使用传统安装和Docker两种方式安装RocketMQ。首先，系统需要是64位，并且已经安装了JDK 1.8。传统安装包括下载安装包，解压并启动NameServer和Broker。Docker安装则涉及安装docker和docker-compose，然后通过docker-compose.yaml文件配置并启动服务。教程还提供了启动命令和解决问题的提示。
全干程序员demo
57 1
全干程序员demo
|
24天前
|
消息中间件 存储 Apache
RocketMQ实战教程之常见概念和模型
Apache RocketMQ 实战教程介绍了其核心概念和模型。消息是基本的数据传输单元，主题是消息的分类容器，支持字节、数字和短划线命名，最长64个字符。消息类型包括普通、顺序、事务和定时/延时消息。消息队列是实际存储和传输消息的容器，是主题的分区。消费者分组是一组行为一致的消费者的逻辑集合，也有命名限制。此外，文档还提到了一些使用约束和建议，如主题和消费者组名的命名规则，消息大小限制，请求超时时间等。RocketMQ 提供了多种消息模型，包括发布/订阅模型，有助于理解和优化消息处理。
全干程序员demo
46 5
全干程序员demo
|
25天前
|
消息中间件 存储 Java
RocketMQ实战教程之NameServer与BrokerServer
这是一个关于RocketMQ实战教程的概要，主要讨论NameServer和BrokerServer的角色。NameServer负责管理所有BrokerServer，而BrokerServer存储和传输消息。生产者和消费者通过NameServer找到合适的Broker进行交互，不需要直接知道Broker的具体信息。工作流程包括生产者向NameServer查询后发送消息到Broker，以及消费者同样通过NameServer获取消息进行消费。这种设计类似于服务注册中心的概念，便于系统扩展和集群管理。
全干程序员demo
35 3
游客pnral34kl5xba
|
3天前
|
消息中间件 Java Spring
最新spingboot整合rabbitmq详细教程
最新spingboot整合rabbitmq详细教程
游客pnral34kl5xba
7 0
全干程序员demo
|
30天前
|
消息中间件 Cloud Native 自动驾驶
RocketMQ实战教程之MQ简介
Apache RocketMQ 是一个云原生的消息流平台，支持消息、事件和流处理，适用于云边端一体化场景。官网提供详细文档和下载资源：[RocketMQ官网](https://rocketmq.apache.org/zh/)。示例中提到了RocketMQ在物联网（如小米台灯）和自动驾驶等领域的应用。要开始使用，可从[下载页面](https://rocketmq.apache.org/zh/download)获取软件。
全干程序员demo
341 1
花开富贵111
|
13天前
|
消息中间件 网络安全 网络虚拟化
消息队列 MQ操作报错合集之如何实现公网访问内网RocketMQ集群
在使用消息队列MQ时，可能会遇到各种报错情况。以下是一些常见的错误场景、可能的原因以及解决建议的汇总：1.连接错误、2.消息发送失败、3.消息消费报错、4.消息重试与死信处理、5.资源与权限问题、6.配置错误、7.系统资源限制、8.版本兼容性问题。
花开富贵111
40 0
狗哥不是甜妹
|
18天前
|
关系型数据库 应用服务中间件 nginx
docker基础，docker安装mysql，docker安装Nginx，docker安装mq,docker基础命令
docker基础，docker安装mysql，docker安装Nginx，docker安装mq,docker基础命令
狗哥不是甜妹
115 0
软件求生
|
6天前
|
消息中间件 Java 双11
RocketMQ：揭秘电商巨头背后的消息队列秘密
**RocketMQ概览：**高性能分布式消息队列，适用于有序消息、事务处理、流计算、消息推送、日志处理及Binlog分发。在双11等高流量场景下证明了其性能、稳定性和低延迟。Java开发，利于扩展，性能超RabbitMQ，支持死信队列，但可能有集成兼容性问题。适合Java开发者，为电商等场景优化，每秒处理大量消息。
软件求生
27 3
RocketMQ：揭秘电商巨头背后的消息队列秘密
花开富贵111
|
13天前
|
消息中间件 监控 应用服务中间件
消息队列 MQ操作报错合集之重启Broker后，积压数出现为负数是什么导致的
在使用消息队列MQ时，可能会遇到各种报错情况。以下是一些常见的错误场景、可能的原因以及解决建议的汇总：1.连接错误、2.消息发送失败、3.消息消费报错、4.消息重试与死信处理、5.资源与权限问题、6.配置错误、7.系统资源限制、8.版本兼容性问题。
花开富贵111
48 1
消息队列 MQ操作报错合集之重启Broker后，积压数出现为负数是什么导致的
花开富贵111
|
13天前
|
消息中间件 Java 测试技术
消息队列 MQ操作报错合集之设置了setKeepAliveInterval(1)但仍然出现客户端未连接，该怎么解决
在使用消息队列MQ时，可能会遇到各种报错情况。以下是一些常见的错误场景、可能的原因以及解决建议的汇总：1.连接错误、2.消息发送失败、3.消息消费报错、4.消息重试与死信处理、5.资源与权限问题、6.配置错误、7.系统资源限制、8.版本兼容性问题。
花开富贵111
30 2

热门文章

最新文章

  • 1
    springboot整合rocketmq，快速上手消息队列
  • 2
    信用算力基于 RocketMQ 实现金融级数据服务的实践
  • 3
    JMS 之 Active MQ的安全机制
  • 4
    STM32+果云GA6-GPRS/GSM模块+MQTT+HTTP协议连接中移OneNet上传GPS数据定位
  • 5
    rabbitmq_学习_00_资源帖
  • 6
    RocketMQ操作命令
  • 7
    当 RocketMQ 遇上 Serverless，会碰撞出怎样的火花？
  • 8
    RabbitMQ 部署及配置详解(集群部署)
  • 9
    【SpringCloud-Alibaba系列教程】14.一文教你入门RocketMQ
  • 10
    RocketMQ 学习社区重磅上线！AI 互动，一秒了解 RocketMQ 功能源码
  • 1
    写了10000字：全面学习RocketMQ中间件
    95
  • 2
    Spring Cloud RocketMQ：构建可靠消息驱动的微服务架构
    38
  • 3
    Spring Boot+RocketMQ 实现多实例分布式环境下的事件驱动
    38
  • 4
    RabbitMQ组件介绍
    36
  • 5
    SpringBoot基于RabbitMQ实现死信队列 (SpringBoot整合RabbitMQ实战篇)
    53
  • 6
    SpringBoot基于RabbitMQ实现消息可靠性
    53
  • 7
    SpringBoot实现RabbitMQ的通配符交换机(SpringAMQP 实现Topic交换机)
    18
  • 8
    MQTT：通信协议的三位主角
    53
  • 9
    SpringBoot实现RabbitMQ的定向交换机(SpringAMQP 实现Direct定向交换机)
    27
  • 10
    SpringBoot实现RabbitMQ的广播交换机(SpringAMQP 实现Fanout广播交换机)
    25

    • 相关课程

    更多
  • 消息队列 MNS 入门课程
  • RocketMQ知识精讲与项目实战（第一阶段）
  • RocketMQ知识精讲与项目实战（第二阶段）
  • RocketMQ知识精讲与项目实战（第三阶段）
  • 微服务实战-RocketMQ Binder

    • 相关电子书

    更多
  • RocketMQ Client-GO 介绍
  • RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • 基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台

    • 相关实验场景

    更多
  • 5分钟上手Flink MySQL连接器
  • 使用Flink实时发现最热Github项目
  • 消息队列RocketMQ版：消费异常运维排查体验
  • 消息队列RocketMQ版：定时消息通知功能体验
  • 消息队列RocketMQ版：基础消息收发功能体验
  • 部署RabbitMQ
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考