备案控制台
探索云世界
开发者社区 数据库 文章 正文

从入门到入土（九）手摸手教你搭建RocketMQ双主双从同步集群，不信学不会！（上）

2022-02-18 217
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 从入门到入土（九）手摸手教你搭建RocketMQ双主双从同步集群，不信学不会！（上）

一、环境准备


1、补充


如果单机都不会安装的，或者管控台不会安装的请先前往如下这篇文章：


https://blog.csdn.net/ctwctw/article/details/107143968


再次强调，如果单机都不会的话，先抽出2min看看上面文章，因为需要改jvm配置的，默认8G，没那么大的内存启动会报错的。


2、机器


机器 用途
172.17.160.28 namesrv、broker-a-master、broker-b-slave
172.17.160.29 namesrv、broker-b-master、broker-a-slave


两台机器分别启动namesrv


172.17.160.28和172.17.160.29交叉作为彼此的slave


二、开始搭建



搭建2M2S SYNC。


1、说明


Rocket MQ在4.5.0之前版本支持的主从不支持自动切换，也就是并非真正意义上的高可用，比如2M2S，其中1个M挂了后，他的Slave节点不会自动升级为Master，但是在4.5.0开始迎来了Dledger这个“怪物”，他是基于raft的（Redis的哨兵也是这个玩意），让Rocket MQ真正意义的做到了高可用，Master挂了后Slave自动升级为Master，完全自动，释放双手。


2、古老的集群搭建


2.1、准备


进入到2m2s-sync目录


cd /home/chentongwei/rocketmq/rocketmq-all-4.7.0-bin-release/conf/2m-2s-sync


2.2、Master1


也就是172.17.160.28机器上的broker-a-master节点。


修改其配置文件然后启动即可。


vi broker-a.properties


修改内容如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，需要注意的是slave节点需要和master节点的brokerName一致，区分m还是s交由下面的brokerId来配置。
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=172.17.160.28:9876;172.17.160.29:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#存储路径
storePathRootDir=/home/chentongwei/data/rocketmq/broker-a/store
#commitLog 存储路径
storePathCommitLog=/home/chentongwei/data/rocketmq/broker-a/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/chentongwei/data/rocketmq/broker-a/store/consumequeue
#消息索引存储路径
storePathIndex=/home/chentongwei/data/rocketmq/broker-a/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/chentongwei/data/rocketmq/broker-a/store/checkpoint
#abort 文件存储路径
abortFile=/home/chentongwei/data/rocketmq/broker-a/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH


2.3、Slave1


也就是172.17.160.29机器上的broker-a-slave节点。


修改其配置文件然后启动即可。


vi broker-a-s.properties


修改内容如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，需要注意的是slave节点需要和master节点的brokerName一致，区分m还是s交由下面的brokerId来配置。
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
# 注意此处是1了，不在是0了，因为0代表Master
brokerId=1
#nameServer地址，分号分割
namesrvAddr=172.17.160.28:9876;172.17.160.29:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#存储路径
storePathRootDir=/home/chentongwei/data/rocketmq/broker-a/store
#commitLog 存储路径
storePathCommitLog=/home/chentongwei/data/rocketmq/broker-a/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/chentongwei/data/rocketmq/broker-a/store/consumequeue
#消息索引存储路径
storePathIndex=/home/chentongwei/data/rocketmq/broker-a/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/chentongwei/data/rocketmq/broker-a/store/checkpoint
#abort 文件存储路径
abortFile=/home/chentongwei/data/rocketmq/broker-a/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH


2.4、Master2


也就是172.17.160.29机器上的broker-b-master节点。


修改其配置文件然后启动即可。


vi broker-b.properties


修改内容如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，需要注意的是slave节点需要和master节点的brokerName一致，区分m还是s交由下面的brokerId来配置。
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=172.17.160.28:9876;172.17.160.29:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#存储路径
storePathRootDir=/home/chentongwei/data/rocketmq/broker-b/store
#commitLog 存储路径
storePathCommitLog=/home/chentongwei/data/rocketmq/broker-b/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/chentongwei/data/rocketmq/broker-b/store/consumequeue
#消息索引存储路径
storePathIndex=/home/chentongwei/data/rocketmq/broker-b/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/chentongwei/data/rocketmq/broker-b/store/checkpoint
#abort 文件存储路径
abortFile=/home/chentongwei/data/rocketmq/broker-b/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH


2.5、Slave2


也就是172.17.160.28机器上的broker-b-slave节点。


修改其配置文件然后启动即可。


vi broker-b-s.properties


修改内容如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，需要注意的是slave节点需要和master节点的brokerName一致，区分m还是s交由下面的brokerId来配置。
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
# 注意此处是1了，不在是0了，因为0代表Master
brokerId=1
#nameServer地址，分号分割
namesrvAddr=172.17.160.28:9876;172.17.160.29:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#存储路径
storePathRootDir=/home/chentongwei/data/rocketmq/broker-b/store
#commitLog 存储路径
storePathCommitLog=/home/chentongwei/data/rocketmq/broker-b/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/chentongwei/data/rocketmq/broker-b/store/consumequeue
#消息索引存储路径
storePathIndex=/home/chentongwei/data/rocketmq/broker-b/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/chentongwei/data/rocketmq/broker-b/store/checkpoint
#abort 文件存储路径
abortFile=/home/chentongwei/data/rocketmq/broker-b/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
文章标签：
云消息队列 MQ
Java
消息中间件
NoSQL
RocketMQ
Redis
关键词：
云消息队列 MQ集群
云消息队列 MQ同步
消息队列RocketMQ版集群
消息队列RocketMQ版同步
消息队列RocketMQ版搭建
相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv，使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列：消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验：基于MNS，0基础轻松构建 Web Client 本节课带您一起基于MNS，0基础轻松构建 Web Client
游客3fxpohbdpoqm2
目录
相关文章
爱吃糖的范同学
|
3月前
|
消息中间件 负载均衡 监控
【面试问题】RabbitMQ 的集群
【1月更文挑战第27天】【面试问题】RabbitMQ 的集群
爱吃糖的范同学
60 0
我是小ba吖
|
6月前
|
消息中间件 存储 Kubernetes
k8s1.20版本部署RabbitMQ集群(持久化)——2023.05
k8s1.20版本部署RabbitMQ集群(持久化)——2023.05
我是小ba吖
254 1
程序员jet_qi
|
6月前
|
消息中间件 存储 监控
消息中间件第八讲：消息队列 RocketMQ 版实战、集群及原理
消息中间件第八讲：消息队列 RocketMQ 版实战、集群及原理
程序员jet_qi
99 0
一只牛博
|
2月前
|
消息中间件 运维 应用服务中间件
容器化运维：构建高可用RabbitMQ集群的Docker Compose指南
容器化运维：构建高可用RabbitMQ集群的Docker Compose指南
一只牛博
170 0
哥的时代
|
3月前
|
消息中间件 存储 缓存
RabbitMQ 集群和镜像队列
【1月更文挑战第11天】 一、clustering(集群) 1、使用集群的原因 2、搭建步骤 2.1、拉取镜像 2.2、创建三个RabbitMQ容器节点 2.3、集群搭建 二、镜像队列 1、使用镜像的原因 2、搭建步骤
哥的时代
241 5
讓丄帝愛伱
|
5月前
|
消息中间件 测试技术
RabbitMQ集群搭建（二）
RabbitMQ集群搭建
讓丄帝愛伱
26 0
讓丄帝愛伱
|
5月前
|
消息中间件 存储 容器
RabbitMQ集群搭建（一）
RabbitMQ集群搭建
讓丄帝愛伱
72 0
讓丄帝愛伱
|
5月前
|
消息中间件 Java Spring
搭建高可用rabbitmq集群及spring boot实现集群配置
搭建高可用rabbitmq集群及spring boot实现集群配置
讓丄帝愛伱
92 0
阿甘兄
|
5月前
|
数据库
淘东电商项目（43） -MQ与Logstash实现数据库同步到ES的区别
淘东电商项目（43） -MQ与Logstash实现数据库同步到ES的区别
阿甘兄
76 0
凌虚Wayne
|
7月前
|
NoSQL 关系型数据库 MySQL
同步 MySQL 数据至 ES/Redis/MQ 等的五种方式
同步 MySQL 数据至 ES/Redis/MQ 等的五种方式
凌虚Wayne
417 0

热门文章

最新文章

  • 1
    RocketMQ 流数据库解析：如何实现一体化流处理？
  • 2
    使用阿里云 mqtt serverless 版本超低成本快速实现 webscoket 长链接服务器
  • 3
    MQTT常见问题之mqtt 连接一直显示 Not authorized to connect如何解决
  • 4
    安装Docker&镜像容器操作&使用Docker安装部署MySQL，Redis，RabbitMQ，Nacos，Seata，Minio
  • 5
    深入解析：选择最佳C++ MQTT库的综合指南
  • 6
    MQTT常见问题之发布MQTT主题消息失败如何解决
  • 7
    RocketMQ的下载与安装（全网最细保姆级别教学）
  • 8
    麒麟系统ARM安装rabbitmq
  • 9
    MQTT常见问题之connection reset by peer 异常如何解决
  • 10
    MQTT常见问题之MQTT的topic超出上限25个如何解决
  • 1
    RocketMQ实践问题收集
    23
  • 2
    RocketMQ部署文档
    32
  • 3
    RocketMQ学习笔记
    46
  • 4
    阿里云MQTT简介和使用流程
    39
  • 5
    RabbitMQ入门指南(九)：消费者可靠性
    23
  • 6
    RabbitMQ入门指南(八)：MQ可靠性
    24
  • 7
    RabbitMQ入门指南(四)：交换机与案例解析
    16
  • 8
    RabbitMQ入门指南(二)：架构和管理控制台的使用
    25
  • 9
    阿里云服务器上搭建 MQTT服务
    36
  • 10
    RabbitMQ消息的应答
    25

    • 相关课程

    更多
  • 消息队列 MNS 入门课程
  • RocketMQ知识精讲与项目实战（第一阶段）
  • RocketMQ知识精讲与项目实战（第二阶段）
  • RocketMQ知识精讲与项目实战（第三阶段）
  • 微服务实战-RocketMQ Binder

    • 相关电子书

    更多
  • RocketMQ Client-GO 介绍
  • RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • 基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台

    • 相关实验场景

    更多
  • 每个IT人都想学的“Web应用上云经典架构”实战
  • 使用Flink实时发现最热Github项目
  • 消息队列RocketMQ版：消费异常运维排查体验
  • 消息队列RocketMQ版：定时消息通知功能体验
  • 消息队列RocketMQ版：基础消息收发功能体验
  • 高性能特性体验：ePQ 的详解与实战
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）