AI 助理
备案控制台
开发者社区 数据库 文章 正文

从入门到入土（九）手摸手教你搭建RocketMQ双主双从同步集群，不信学不会！（上）

2022-02-18 276
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 从入门到入土（九）手摸手教你搭建RocketMQ双主双从同步集群，不信学不会！（上）

一、环境准备


1、补充


如果单机都不会安装的，或者管控台不会安装的请先前往如下这篇文章：


https://blog.csdn.net/ctwctw/article/details/107143968


再次强调，如果单机都不会的话，先抽出2min看看上面文章，因为需要改jvm配置的，默认8G，没那么大的内存启动会报错的。


2、机器


机器 用途
172.17.160.28 namesrv、broker-a-master、broker-b-slave
172.17.160.29 namesrv、broker-b-master、broker-a-slave


两台机器分别启动namesrv


172.17.160.28和172.17.160.29交叉作为彼此的slave


二、开始搭建



搭建2M2S SYNC。


1、说明


Rocket MQ在4.5.0之前版本支持的主从不支持自动切换，也就是并非真正意义上的高可用，比如2M2S，其中1个M挂了后，他的Slave节点不会自动升级为Master，但是在4.5.0开始迎来了Dledger这个“怪物”，他是基于raft的（Redis的哨兵也是这个玩意），让Rocket MQ真正意义的做到了高可用，Master挂了后Slave自动升级为Master，完全自动，释放双手。


2、古老的集群搭建


2.1、准备


进入到2m2s-sync目录


cd /home/chentongwei/rocketmq/rocketmq-all-4.7.0-bin-release/conf/2m-2s-sync


2.2、Master1


也就是172.17.160.28机器上的broker-a-master节点。


修改其配置文件然后启动即可。


vi broker-a.properties


修改内容如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，需要注意的是slave节点需要和master节点的brokerName一致，区分m还是s交由下面的brokerId来配置。
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=172.17.160.28:9876;172.17.160.29:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#存储路径
storePathRootDir=/home/chentongwei/data/rocketmq/broker-a/store
#commitLog 存储路径
storePathCommitLog=/home/chentongwei/data/rocketmq/broker-a/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/chentongwei/data/rocketmq/broker-a/store/consumequeue
#消息索引存储路径
storePathIndex=/home/chentongwei/data/rocketmq/broker-a/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/chentongwei/data/rocketmq/broker-a/store/checkpoint
#abort 文件存储路径
abortFile=/home/chentongwei/data/rocketmq/broker-a/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH


2.3、Slave1


也就是172.17.160.29机器上的broker-a-slave节点。


修改其配置文件然后启动即可。


vi broker-a-s.properties


修改内容如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，需要注意的是slave节点需要和master节点的brokerName一致，区分m还是s交由下面的brokerId来配置。
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
# 注意此处是1了，不在是0了，因为0代表Master
brokerId=1
#nameServer地址，分号分割
namesrvAddr=172.17.160.28:9876;172.17.160.29:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#存储路径
storePathRootDir=/home/chentongwei/data/rocketmq/broker-a/store
#commitLog 存储路径
storePathCommitLog=/home/chentongwei/data/rocketmq/broker-a/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/chentongwei/data/rocketmq/broker-a/store/consumequeue
#消息索引存储路径
storePathIndex=/home/chentongwei/data/rocketmq/broker-a/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/chentongwei/data/rocketmq/broker-a/store/checkpoint
#abort 文件存储路径
abortFile=/home/chentongwei/data/rocketmq/broker-a/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH


2.4、Master2


也就是172.17.160.29机器上的broker-b-master节点。


修改其配置文件然后启动即可。


vi broker-b.properties


修改内容如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，需要注意的是slave节点需要和master节点的brokerName一致，区分m还是s交由下面的brokerId来配置。
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=172.17.160.28:9876;172.17.160.29:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#存储路径
storePathRootDir=/home/chentongwei/data/rocketmq/broker-b/store
#commitLog 存储路径
storePathCommitLog=/home/chentongwei/data/rocketmq/broker-b/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/chentongwei/data/rocketmq/broker-b/store/consumequeue
#消息索引存储路径
storePathIndex=/home/chentongwei/data/rocketmq/broker-b/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/chentongwei/data/rocketmq/broker-b/store/checkpoint
#abort 文件存储路径
abortFile=/home/chentongwei/data/rocketmq/broker-b/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH


2.5、Slave2


也就是172.17.160.28机器上的broker-b-slave节点。


修改其配置文件然后启动即可。


vi broker-b-s.properties


修改内容如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，需要注意的是slave节点需要和master节点的brokerName一致，区分m还是s交由下面的brokerId来配置。
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
# 注意此处是1了，不在是0了，因为0代表Master
brokerId=1
#nameServer地址，分号分割
namesrvAddr=172.17.160.28:9876;172.17.160.29:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#存储路径
storePathRootDir=/home/chentongwei/data/rocketmq/broker-b/store
#commitLog 存储路径
storePathCommitLog=/home/chentongwei/data/rocketmq/broker-b/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/chentongwei/data/rocketmq/broker-b/store/consumequeue
#消息索引存储路径
storePathIndex=/home/chentongwei/data/rocketmq/broker-b/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/chentongwei/data/rocketmq/broker-b/store/checkpoint
#abort 文件存储路径
abortFile=/home/chentongwei/data/rocketmq/broker-b/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
文章标签：
云消息队列 MQ
Java
消息中间件
NoSQL
RocketMQ
Redis
关键词：
云消息队列 MQ集群
云消息队列 MQ同步
消息队列RocketMQ版集群
消息队列RocketMQ版同步
消息队列RocketMQ版搭建
相关实践学习
消息队列RocketMQ版：基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能，涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列：消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验：基于MNS，0基础轻松构建 Web Client 本节课带您一起基于MNS，0基础轻松构建 Web Client
游客3fxpohbdpoqm2
目录
相关文章
猿java
|
2月前
|
消息中间件 监控 Java
RocketMQ 同步发送、异步发送和单向发送，如何选择？
本文详细分析了 RocketMQ 中同步发送、异步发送和单向发送三种消息发送方式的原理、优缺点及适用场景。同步发送可靠性高但延迟较大，适合订单系统等场景；异步发送非阻塞且延迟低，适用于实时数据处理等场景；单向发送高效但可靠性低，适用于日志收集等场景。文章还提供了示例代码和核心源码分析，帮助读者更好地理解每种发送方式的特点。
猿java
318 4
栈江湖
|
7天前
|
消息中间件 存储 运维
2024最全RabbitMQ集群方案汇总
本文梳理了RabbitMQ集群的几种方案，主要包括普通集群、镜像集群（高可用）、Quorum队列（仲裁队列）、Streams集群模式（高可用+负载均衡）和插件方式。重点介绍了每种方案的特点、优缺点及适用场景。搭建步骤包括安装Erlang和RabbitMQ、配置集群节点、修改hosts文件、配置Erlang Cookie、启动独立节点并创建集群，以及配置镜像队列以提高可用性和容错性。推荐使用Quorum队列与Streams模式，其中Quorum队列适合高可用集群，Streams模式则同时支持高可用和负载均衡。此外，还有Shovel和Federation插件可用于特定场景下的集群搭建。
栈江湖
91 2
栈江湖
|
7天前
|
消息中间件 RocketMQ
2024最全RocketMQ集群方案汇总
在研究RocketMQ集群方案时，发现网上存在诸多不一致之处，如组件包含NameServer、Broker、Proxy等。通过查阅官方文档，了解到v4.x和v5.x版本的差异。v4.x部署模式包括单主、多主、多主多从（异步复制、同步双写），而v5.x新增Local与Cluster模式，主要区别在于Broker和Proxy是否同进程部署。Local模式适合平滑升级，Cluster模式适合高可用需求。不同模式下，集群部署方案大致相同，涵盖单主、多主、多主多从等模式，以满足不同的高可用性和性能需求。
栈江湖
46 0
菜菜的后端私房菜
|
2月前
|
存储 消息中间件 安全
JUC组件实战：实现RRPC(Java与硬件通过MQTT的同步通信)
【10月更文挑战第9天】本文介绍了如何利用JUC组件实现Java服务与硬件通过MQTT的同步通信（RRPC）。通过模拟MQTT通信流程，使用`LinkedBlockingQueue`作为消息队列，详细讲解了消息发送、接收及响应的同步处理机制，包括任务超时处理和内存泄漏的预防措施。文中还提供了具体的类设计和方法实现，帮助理解同步通信的内部工作原理。
菜菜的后端私房菜
50 1
JUC组件实战：实现RRPC(Java与硬件通过MQTT的同步通信)
aliyun7689123603-22772
|
4月前
|
消息中间件 存储 负载均衡
RabbitMQ的集群是如何实现的？
8月更文挑战第28天
aliyun7689123603-22772
73 6
土木林森
|
4月前
|
消息中间件 存储 负载均衡
"RabbitMQ集群大揭秘！让你的消息传递系统秒变超级英雄，轻松应对亿级并发挑战！"
【8月更文挑战第24天】RabbitMQ是一款基于AMQP的开源消息中间件，以其高可靠性、扩展性和易用性闻名。面对高并发和大数据挑战时，可通过构建集群提升性能。本文深入探讨RabbitMQ集群配置、工作原理，并提供示例代码。集群由多个通过网络连接的节点组成，共享消息队列，确保高可用性和负载均衡。搭建集群需准备多台服务器，安装Erlang和RabbitMQ，并确保节点间通信顺畅。核心步骤包括配置.erlang.cookie文件、使用rabbitmqctl命令加入集群。消息发布至任一节点时，通过集群机制同步至其他节点；消费者可从任一节点获取消息。
土木林森
57 2
土木林森
|
4月前
|
存储 C# 关系型数据库
“云端融合：WPF应用无缝对接Azure与AWS——从Blob存储到RDS数据库，全面解析跨平台云服务集成的最佳实践”
【8月更文挑战第31天】本文探讨了如何将Windows Presentation Foundation（WPF）应用与Microsoft Azure和Amazon Web Services（AWS）两大主流云平台无缝集成。通过具体示例代码展示了如何利用Azure Blob Storage存储非结构化数据、Azure Cosmos DB进行分布式数据库操作；同时介绍了如何借助Amazon S3实现大规模数据存储及通过Amazon RDS简化数据库管理。这不仅提升了WPF应用的可扩展性和可用性，还降低了基础设施成本。
土木林森
98 0
三分钟热度的鱼
|
5月前
|
消息中间件 Prometheus 监控
消息队列 MQ使用问题之如何将旧集群的store目录迁移到新集群
消息队列（MQ）是一种用于异步通信和解耦的应用程序间消息传递的服务，广泛应用于分布式系统中。针对不同的MQ产品，如阿里云的RocketMQ、RabbitMQ等，它们在实现上述场景时可能会有不同的特性和优势，比如RocketMQ强调高吞吐量、低延迟和高可用性，适合大规模分布式系统；而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集，这些场景涵盖了多种行业和业务需求。
三分钟热度的鱼
112 1
三分钟热度的鱼
|
5月前
|
消息中间件 传感器 负载均衡
消息队列 MQ使用问题之如何配置一主一从的同步复制模式
消息队列（MQ）是一种用于异步通信和解耦的应用程序间消息传递的服务，广泛应用于分布式系统中。针对不同的MQ产品，如阿里云的RocketMQ、RabbitMQ等，它们在实现上述场景时可能会有不同的特性和优势，比如RocketMQ强调高吞吐量、低延迟和高可用性，适合大规模分布式系统；而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集，这些场景涵盖了多种行业和业务需求。
三分钟热度的鱼
59 0
消息队列 MQ使用问题之如何配置一主一从的同步复制模式
萝卜丝丸子
|
5月前
|
消息中间件 RocketMQ
MetaQ/RocketMQ 原理问题之当消费集群规模较大时，处理分配不到队列的Consumer的问题如何解决
MetaQ/RocketMQ 原理问题之当消费集群规模较大时，处理分配不到队列的Consumer的问题如何解决
萝卜丝丸子
68 4

热门文章

最新文章

  • 1
    大厂都在用的分布式事务方案，Seata+RocketMQ带你打破10万QPS瓶颈
  • 2
    C5GAME 游戏饰品交易平台借助 RocketMQ Serverless 保障千万级玩家流畅体验
  • 3
    朗新科技集团如何用云消息队列 RocketMQ 版“快、准、狠”破解业务难题？
  • 4
    2024最全RabbitMQ集群方案汇总
  • 5
    【实践】快速学会使用云消息队列RabbitMQ版
  • 6
    说说MQ在你项目中的应用(一)
  • 7
    高弹性、低成本的云消息队列RabbitMQ 版
  • 8
    2024最全RocketMQ集群方案汇总
  • 9
    如何将Spring Boot + RabbitMQ应用程序部署到Pivotal Cloud Foundry (PCF)
  • 10
    多协议网关BL110钡铼6路RS485转MQTT协议云网关
  • 1
    消息队列RocketMQ版：基础消息收发功能体验
    210
  • 2
    消息中间件第八讲：消息队列 RocketMQ 版实战、集群及原理
    375
  • 3
    消息队列RocketMQ版：消费异常运维排查体验
    930
  • 4
    消息队列RocketMQ版：定时消息通知功能体验
    684
  • 5
    消息队列RocketMQ版：基础消息收发功能体验
    566
  • 6
    【名师代练】带你玩转 RocketMQ，角逐「RocketMQ 首席评测官」
    392
  • 7
    聊聊RocketMQ名字服务
    142
  • 8
    微服务 RocketMQ-延时消息 消息过滤 管控台搜索问题
    144
  • 9
    RocketMQ-消息消费模式 顺序消费
    226
  • 10
    消息中间件-RocketMQ入门 消息发送的三种方式
    181

    • 相关课程

    更多
  • 消息队列 RocketMQ 消息集成
  • 消息队列 MNS 入门课程
  • RocketMQ知识精讲与项目实战（第一阶段）
  • RocketMQ知识精讲与项目实战（第二阶段）
  • RocketMQ知识精讲与项目实战（第三阶段）
  • 微服务实战-RocketMQ Binder

    • 相关电子书

    更多
  • RocketMQ Client-GO 介绍
  • RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • 基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台

    • 相关实验场景

    更多
  • 消息队列RocketMQ版：定时消息通知功能体验
  • 消息队列RocketMQ版：基础消息收发功能体验
  • 部署RabbitMQ
  • RocketMQ中使用Java客户端发送消息和消费的应用
  • RocketMQ一站式入门使用
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)