Apache RocketMQ 消息队列部署与可视化界面安装

简介: Apache RocketMQ是一个分布式、队列模型的消息中间件,具有低延迟、高性能和高可靠、万亿级容量和灵活的可扩展性。核心组件由四部分组成:Name Servers,Brokers,Producer 和 Consumer;它们中的每一个都可以水平扩展,而没有单一的故障节点。

封面.png

一、介绍

Apache RocketMQ是一个分布式、队列模型的消息中间件,具有低延迟、高性能和高可靠、万亿级容量和灵活的可扩展性。核心组件由四部分组成:Name ServersBrokersProducerConsumer;它们中的每一个都可以水平扩展,而没有单一的故障节点。

file

  1. NameServer:是一个几乎无状态的节点,可集群部署,节点之间无任何信息同步
  2. Broker:部署相对复杂,Broker分为Master与Slave,一个Master可以对应多个Slaver,但是一个Slaver只能对应一个Master,Master与Slaver的对应关系通过指定相同的BrokerName,不同的BrokerId来定义,BrokerId为0表示Master,非0表示Slaver。Master可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接,定时注册Topic信息到所有的NameServer
  3. Producer:与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master建立长连接,且定时向Master发送心跳。Produce完全无状态,可集群部署
  4. Consumer:与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master、Slaver建立长连接,且定时向Master、Slaver发送心跳。Consumer即可从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定

二、MQ安装部署

2.1. 下载

直接找最新版下载后解压
http://rocketmq.apache.org/release_notes
file

2.2. 修改配置

修改 conf/broker.conf添加以下配置
file

brokerIP1:配置broker所在服务器的ip地址,以便Name Server连接

修改 runserver.shrunbroker.sh (可不改)
因为rocketMQ默认的启动参数内存占用非常大,如果环境没有这么多内存就必需修改JAVA_OPT参数

  • runserver.sh
    file
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
  • runbroker.sh
    file
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

2.3. 运行Name Server

nohup sh bin/mqnamesrv &

查看运行日志:tail -f ~/logs/rocketmqlogs/namesrv.log

2.4. 运行Broker

nohup sh bin/mqbroker -n localhost:9876 -c conf/broker.conf &

通过-c参数指定配置文件
查看运行日志:tail -f ~/logs/rocketmqlogs/broker.log

2.5. 停止服务的方式

如果需要停止RocketMQ的服务,在生产环境不建议直接用kill,应该使用以下命令

sh bin/mqshutdown broker

sh bin/mqshutdown namesrv

三、安装可视化管理界面

mvn clean package -Dmaven.test.skip=true
  • 运行
nohup java -jar \
    -Drocketmq.config.namesrvAddr=192.168.28.130:9876 \
    -Drocketmq.config.isVIPChannel=false \
    rocketmq-console-ng-1.0.0.jar &

file

四、常见异常处理

4.1. MQClientException: No route info of this topic, TopicTest1

4.1.1. 异常说明

在客户端的 Producer 运行起来准备发送消息时抛异常为 “ No route info of this topic ” 异常产生的原因可能是:

  1. Broker 禁止自动创建 Topic,且用户没有通过手工方式创建 Topic
  2. Broker 没有正确连接到 Name Server
  3. Producer 没有正确连接到 Name Server

4.1.2. 解决办法

  • 排查1Broker 禁止自动创建 Topic,且用户没有通过手工方式创建 Topic

    • 可以在rocketmq所在目录下执行 " sh bin/mqbroker -m " 来查看 broker 的配置参数
    • 如下所示,autoCreateTopicEnable=true 证明是没有问题的
      file
  • 排查2Broker 没有正确连接到 Name Server
    通过查看broker的日志 tail -f ~/logs/rocketmqlogs/broker.log 看看有没有错误信息
  • 排查3Producer 没有正确连接到 Name Server

    1. 检查程序连接 Name Server 的地址有没有错
    2. 如果在云服务器上,检查安全组的配置9876端口有没有开发
    3. 看看有没有打开防火墙,有的话设置防火墙开放9876端口

      [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --zone=public --list-ports
      8090/tcp 80/tcp 8080/tcp
      [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --zone=public --add-port=9876/tcp --permanent
      success
      [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --reload
      success
      [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --zone=public --list-ports
      9876/tcp 8090/tcp 80/tcp 8080/tcp

4.2. RemotingTooMuchRequestException: sendDefaultImpl call timeout

4.2.1. 异常说明

  • 在客户端的 Producer 运行起来准备发送消息时抛异常如下
  • 通常因为Name Server连接不上Broker
    file

4.2.2. 解决办法

检查 rocketmq-console 的集群页签,broker 的地址是否正确
file
broker地址的配置方式请参考 安装部署 中提到的步骤:

  1. 修改 broker.conf 的配置,添加 brokerIP1 参数
  2. 启动 broker 时加上 -c 参数指定配置文件

4.3. 消费/查看不了死信队列topic的消息

file

4.3.1. 异常说明

死信队列默认的 perm 值为2没有查看权限

4.3.2. 解决办法

在控制台把队列的 perm 改为6就可以了
主题点击 TOPIC配置
file
修改perm
file

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
1月前
|
消息中间件 存储 Apache
恭喜 Apache RocketMQ、Apache Seata 荣获 2024 开源创新榜单“年度开源项目”
近日,以“新纪天工、开物焕彩——致敬开源的力量”为活动主题的“重大科技成就发布会(首场)”在国家科技传播中心成功举办,并隆重揭晓了 2024 开源创新榜单,旨在致敬中国开源力量,传播推广开源科技成就,营造中国开源创新生态。2024 年开源创新榜单由中国科协科学技术传播中心、中国计算机学会、中国通信学会、中国科学院软件研究所共同主办,中国开发者社区承办,以王怀民院士为首组建评审委员会,进行研讨评审,面向中国开源行业领域,遴选具有创新性、贡献度和影响力的开源项目、社区、应用场景与开源事件。在评审出的 10 个年度开源项目中,Apache RocketMQ、Apache Seata 成功入选。
|
6月前
|
消息中间件 Linux API
centos7 安装rabbitmq自定义版本及配置
centos7 安装rabbitmq自定义版本及配置
|
2月前
|
存储 消息中间件 缓存
独特架构打造新一代消息队列Apache Pulsar
Apache Pulsar 是一个开源的分布式消息流平台,由雅虎开发并于 2016 年开源,2018 年成为 Apache 顶级项目。Pulsar 通过独特的架构提供多租户、持久化存储和批处理等高级功能,支持高吞吐量、低延迟的消息传递。其核心组件包括 Broker、Apache BookKeeper 和 Apache ZooKeeper,分别负责消息处理、持久化存储和集群管理。
112 1
|
4月前
|
数据处理 Apache 数据库
将 Python UDF 部署到 Apache IoTDB 的详细步骤与注意事项
【10月更文挑战第21天】将 Python UDF 部署到 Apache IoTDB 中需要一系列的步骤和注意事项。通过仔细的准备、正确的部署和测试,你可以成功地将自定义的 Python UDF 应用到 Apache IoTDB 中,为数据处理和分析提供更灵活和强大的支持。在实际操作过程中,要根据具体情况进行调整和优化,以确保实现最佳的效果。还可以结合具体的代码示例和实际部署经验,进一步深入了解和掌握这一过程。
50 2
|
4月前
|
消息中间件 数据安全/隐私保护 Docker
Docker安装rabbitmq
如何使用Docker安装和配置RabbitMQ服务,包括拉取RabbitMQ镜像、创建容器、配置持久化和访问管理界面的步骤。
317 0
Docker安装rabbitmq
|
5月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署(基于Docker容器),docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程,拉取镜像、运行容器
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
|
5月前
|
消息中间件 Linux
centos7安装rabbitmq
centos7安装rabbitmq
|
6月前
|
关系型数据库 MySQL 应用服务中间件
win7系统搭建PHP+Mysql+Apache环境+部署ecshop项目
这篇文章介绍了如何在Windows 7系统上搭建PHP、MySQL和Apache环境,并部署ECShop项目,包括安装配置步骤、解决常见问题以及使用XAMPP集成环境的替代方案。
83 1
win7系统搭建PHP+Mysql+Apache环境+部署ecshop项目
|
6月前
|
消息中间件 Docker 容器
消息中间件RabbitMQ---Docker安装RabbitMQ、以及RabbitMQ的基本使用【二】
这篇文章提供了RabbitMQ的安装和基本使用教程,包括如何使用Docker拉取RabbitMQ镜像、创建容器、通过浏览器访问管理界面,以及如何创建交换机、队列、绑定和使用direct、fanout和topic三种类型的交换器进行消息发布和接收的测试。
消息中间件RabbitMQ---Docker安装RabbitMQ、以及RabbitMQ的基本使用【二】
|
5月前
|
Linux Apache 数据安全/隐私保护
kali向Apache上部署网页
kali向Apache上部署网页
151 5

相关产品

  • 云消息队列 MQ
  • 推荐镜像

    更多