大佬，请问有没有办法让Apache RocketMQ两台broker共享同一个store，为的就是？

大佬，请问有没有办法让Apache RocketMQ两台broker共享同一个store，为的就是当APP切换到另一个namesrv时可以继续消费？

展开

收起

真的很搞笑 2023-06-18 19:01:26 219 0

7 条回答

写回答

取消提交回答

vohelon
Apache RocketMQ是一款高可用、高性能、分布式的消息队列系统，其Broker节点作为消息存储和消息传输的核心组件，通常会在多台服务器上部署。如果需要实现两台Broker共享同一个存储，可以采用以下方式：
1. 利用Master-Slave复制：RocketMQ支持Master-Slave模式，Master节点管理消息写入，Slave节点按照Master节点的数据状态实现消息复制，并同步作为Consumer的请求对象。可以将多台Broker中的其中一台设置为Master，将其他Broker设置为Slave，Slave节点可以订阅Master节点的消息，并实现数据复制。
2. 使用共享存储：RocketMQ提供了支持共享存储的方式，包括共享存储的方式有：File共享、磁盘共享、共享内存、以及NFS文件共享方式，可以使用上述方式将多台Broker节点之间实现共享存储，消费者可以订阅消息时，会去Broker所在机器的指定共享存储路径下查找消息队列。
总之，以上两种方式都可以实现RocketMQ多台Broker共享同一个存储，在消息队列的架构中，这种方式可以提高消息队列的可靠性和效率。
2023-06-20 08:31:12

赞同展开评论打赏
爱吃白菜的GGB

Apache RocketMQ 的两个 Broker 是独立运行的，它们默认情况下不会共享同一个消息存储（Store）。每个 Broker 都会维护自己的消息存储，包括消息日志、索引文件等。

如果您希望在应用程序切换到另一个 NameServer 时能够继续消费之前的消息，您可以考虑使用 RocketMQ 的高可用部署方案，如双主双从集群。

在双主双从集群中，两个主节点（Master）和两个从节点（Slave）共同组成一个集群。主节点和从节点会同步消息，从而实现高可用性和数据冗余。当一个 Broker 节点不可用时，另一个节点可以接替其角色，并继续提供服务。

在这种部署方式下，即使应用程序切换到另一个 NameServer，仍然可以通过另一个 Broker 节点继续消费之前的消息。当一个 Broker 节点不可用时，另一个节点会接管它的角色，并继续提供消息服务。

需要注意的是，双主双从集群需要进行正确的配置和部署，以确保数据的一致性和高可用性。

2023-06-20 08:09:00

赞同展开评论打赏
wljslmz

公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云云享专家，BOSS直聘创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com
在阿里云MQ中，如果您想要实现两台Apache RocketMQ Broker共享同一个存储，需要使用Apache RocketMQ的镜像集群功能。

镜像集群是RocketMQ提供的一种高可用机制，它可以通过主/备的方式来保证消息的可靠性。在镜像集群中，两个Broker拥有相同的Topic，其中一个作为Master，另一个作为Slave。当Master宕机时，Slave会自动接替Master的角色，继续提供服务。

其中，Master和Slave都可以有自己独立的存储，但是在镜像集群中，由于Master和Slave持有相同的Topic，因此它们存储的消息内容也应该保持一致。

在实际操作中，您可以通过以下步骤来创建一个基于镜像集群的Apache RocketMQ：
1. 部署两个Broker：您需要在两台服务器上分别安装和启动Apache RocketMQ Broker，确保它们的版本相同，并且配置文件中的参数相同。
2. 创建Topic：在其中一个Broker上创建所需要的Topic。
3. 创建Mirrorset：通过Admin API在其中一个Broker上创建与第二个Broker的Mirrorset。
4. 启动镜像集群：在两个Broker上同时启动镜像集群，确保两个Broker上的Topic、Group和Consumer都是相同的。
当镜像集群启动后，Master和Slave会自动进行同步。如果Master宕机，则Slave会自动接替Master的角色，继续提供服务。这样，在APP切换到另一个namesrv时，只需要确保该namesrv所使用的Broker位于同一个镜像集群中，就可以实现继续消费了。
2023-06-19 23:56:04

赞同展开评论打赏
算精通

北京阿里云ACE会长

Apache RocketMQ 是支持多个 Broker 共享同一个存储目录的。通过配置多个 Broker 使用相同的存储目录，可以实现数据的共享和高可用性。

在 RocketMQ 中，多个 Broker 共享同一个存储目录需要满足以下两个条件：

所有 Broker 使用相同的配置文件：所有 Broker 都需要使用相同的 broker.conf 配置文件，并且配置文件中需要指定相同的存储目录。例如： ini Copy brokerClusterName=MyCluster brokerName=BrokerA brokerId=0 deleteWhen=04 fileReservedTime=48 brokerRole=ASYNC_MASTER flushDiskType=ASYNC_FLUSH storePathRootDir=/data/rocketmq/data 所有 Broker 的 brokerId 必须唯一：在一个集群中，每个 Broker 的 brokerId 必须唯一。如果多个 Broker 共享同一个存储目录，则需要为每个 Broker 分配不同的 brokerId。在实践中，多个 Broker 共享同一个存储目录可以提高 RocketMQ 集群的可用性和容错性。当某个 Broker 发生故障时，其他 Broker 可以继续使用相同的存储目录，并接管故障 Broker 的工作，从而实现数据的高可用性和无缝切换。

2023-06-19 08:09:12

赞同展开评论打赏
穿过生命散发芬芳

是的，可以在两台broker之间共享同一个store。这可以通过配置Apache RocketMQ的主从复制功能来实现。在这种配置下，broker会将其数据存储在一个主存储器中，并将其复制到一个或多个备份存储器中。这样，在一个broker发生故障或者被切换到另一个namesrv时，备份broker就可以继续消费数据。

解决方法：

在rocketmq配置文件中，通过配置broker的role参数来指定其是主broker还是备份broker。例如，设置masterBroker的role=SYNC_MASTER，设置slaveBroker的role=SLAVE。

在主broker的配置文件中，启用主从同步功能，配置主broker的ip地址和端口号以及备份broker的ip地址和端口号。例如：
# Enable master and slave synchronizing brokerRole=SYNC_MASTER # Config sync mode replicateBrokers="192.168.1.101:9876;192.168.1.102:9876"
在备份broker的配置文件中，设置broker的role为SLAVE，并配置master broker的ip地址和端口号。例如：
# Enable slave brokerRole=SLAVE # Config master address masterAddress=192.168.1.101:9876
通过这种方式，两台broker就可以共享同一个store，并保证数据的可靠性和一致性。当其中一台broker失效时，另一台broker就可以自动接管消费任务，并保持数据的完整性。

2023-06-18 21:37:32

赞同展开评论打赏
Star时光
在 Apache RocketMQ 中，可以通过共享一个存储路径（Store Path）来让多个 Broker 共享同一个存储空间。这样做的主要目的是：
1. 减少磁盘占用：当多个 Broker 具有相同的主题和队列时，共享同一个存储路径可以减少磁盘占用，避免重复存储数据。
2. 提高可用性：当单个 Broker 故障或者处于维护状态时，其他 Broker 可以接管其工作，并继续提供服务，从而提高整个系统的可用性和健壮性。
针对如何让两台 Broker 共享同一个 Store Path，您可以按照以下步骤进行操作：
1. 在 Broker 配置文件中设置 Store Path 参数为共享路径，例如 /data/rocketmq/store。
2. 启动第一台 Broker，确保其正常工作并将数据写入共享存储路径。
3. 停止第一台 Broker。
4. 启动第二台 Broker，在配置文件中设置 Store Path 参数为共享路径 /data/rocketmq/store。此时第二台 Broker 会读取共享路径中已有的数据，并恢复其工作状态。
需要注意的是，共享存储路径需要确保所有 Broker 对它具有相同的读写权限，并且需要确保多个 Broker 不会同时使用相同的文件进行读写操作，否则可能会导致数据损坏或者丢失。因此，建议您在进行共享存储路径设置时，谨慎操作，并遵循正确的操作流程。同时，在生产环境中使用共享存储路径需要进行充分测试和验证，以确保其稳定性和可靠性。
2023-06-18 20:59:37

赞同展开评论打赏
ReaganYoung

值得去的地方都没有捷径

Apache RocketMQ 支持两种模式的消息存储：文件存储（File Store）和堆外内存存储（Transient Store）。其中，文件存储模式是默认的存储模式，消息存储在磁盘上；而堆外内存存储模式是一种高性能的存储模式，消息存储在堆外内存中，可以大大提高消息的读写性能。

对于您的问题，如果您的两个 Broker 位于同一个机器上，那么它们可以共享同一个文件存储路径，或者共享同一个堆外内存存储路径。具体来说，您可以通过在 Broker 配置文件（broker.conf）中设置 storePathRootDir 参数来指定存储路径。例如：

Broker A 的配置文件

brokerName=broker-a brokerClusterName=cluster-a storePathRootDir=/path/to/shared/store

Broker B 的配置文件

brokerName=broker-b brokerClusterName=cluster-a storePathRootDir=/path/to/shared/store 在上面的例子中，storePathRootDir 参数指定了 Broker A 和 Broker B 共享的存储路径。这样，当您的应用程序从 Broker A 切换到 Broker B 时，它们可以继续从同一个存储路径读取消息。

需要注意的是，如果您的两个 Broker 不在同一台机器上，则需要使用分布式文件系统（如 NFS）或者对象存储（如 S3）来实现共享存储。此外，如果您使用的是堆外内存存储模式，还需要确保堆外内存的共享。

2023-06-18 19:16:53

赞同展开评论打赏