喜马拉雅 Apache RocketMQ 消息治理实践

本文涉及的产品
应用实时监控服务-可观测链路OpenTelemetry版,每月50GB免费额度
云原生网关 MSE Higress,422元/月
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: 本文通过喜马拉雅的RocketMQ治理实践分享,让大家了解使用消息中间件过程中可能遇到的问题,避免实战中踩坑。

作者:曹融,来自喜马拉雅,从事微服务和消息相关中间件开发。

1.png

本文通过喜马拉雅的RocketMQ治理实践分享,让大家了解使用消息中间件过程中可能遇到的问题,避免实战中踩坑。


业务背景现状以及遇到的问题


1、消息队列概况


(1)在线场景:RabbitMQ,实例数9个;


(2)离线场景:Kafka,8个集群;


2、遇到的问题


在线场景缺乏治理:


• 业务混用,相互干扰,非核心对接积压过多触发集群限流;


• 节点负载不均衡,资源浪费严重;


• 资源和应用无关联,消息积压;


• 业务混用,相互干扰,非核心对接积压过多触发集群限流;


在线MQ集群改造方案


1、选型


(1)业务便捷性:易于开发、使用、维护,提高效率,如自带重试、自带死信、自带事务保障;


(2)性能:包容业务的不确定性,如抗短时突发流量、抗积压等;


(3)简单:架构适用于拆分小集群;Java语言易于排查问题和二次开发;社区活跃,使用的人多,方便排查问题;


2、治理方案


(1)集群划分方针:划分小集群,减少相互干扰,减少影响面;


(2)拆分方案:


2.png


如上图所示,对于公司和“钱”相关的业务及核心业务,不仅要给足资源,同时要保证较高的数据安全,在这里就使用了SYNC_MASTER;


  • 对于非核心业务,我们希望它的性价比高,使用尽量少的资源去支撑足够多的数据量,此处就使用了ASYNC_MASTER,伸缩性会更好;


  • 对于其它数据安全要求不高的业务,包括消息轨迹,我们使用单MASTER集群,保证了性能需要,资源使用也少;


  • 对于延时集群,专注于积压消息,pagecache利用率低,目前还没用做,未来考虑在云上采用按需购买的方式来使用;另外对于临时集群目前也没有涉及。


3、控制面管理


(1)统一消息治理后台;


3.png


对所有消息中间件的后台做了一个统一的管理后台,如上图。


(2)对RabbitMQ,仅维护,自动维护关联关系;


(3)对于RocketMQ,用于提升用户体验,比如发送/查询消息、一键接入demo、死信重发等;


4.png

消息管理界面


5.png

配置demo


6.png

死信重发


(4)PaaS化审批


我们对消息化的资源管理做了一个PaaS化的管理,对功能做了一些限制,开发和运维只能在测试环境下做申请和审批,审批通过后再同步到其它环境,然后创建资源、通知用户。


7.png

image.gif

4、统一接入SDK


(1)用户只关心用什么资源,不需要了解namesrv地址,减少出错概率;


8.png


(2)动态配置热生效,节约用户时间;


9.png


(3)收/发消息,失败重试,为中间件做兜底;


10.png


(4)熔断限流,为业务做兜底;


11.png


(5)灰度收消息(消息开关),满足业务特殊场景;


(6)集成公司其他功能,如调用链、全链路压测等;


5、多维度监控


  • 运维:整体情况,cluster 内 top 情况,所属物理机情况;


  • 资源:Topic 上下游 qps,lag 等;


  • 用户:实例消息收发均匀,延迟。


老集群迁移方案


1、人工迁移


场景:消息上下游均为自己的服务;


迁移流程:双收(RocketMQ&RabbitMQ)-> 双发-> 单发(RocketMQ)-> 单收;


需要注意的问题:业务重构,topic合并可能导致下游多tag消息倾斜,导致lag异常问题;


2、自动迁移


  • RabbitMQ <--> RocketMQ 相互镜像迁移;


  • 粒度: exchange < -- > topic;


  • 注意: 相同组的任务互斥;


(1)RabbitMQ -> RocketMQ的迁移方案:


  • 把RabbitMQ的exchange整体同步到topic,在abc.exchange加一个topic前缀为topic_abc.excange;


  • 把RabbitMQ的Routing key预设为RocketMQ的tag;


  • 通过migrator任务程序收集RabbitMQ的消息队列,按照不同的类型传递到RocketMQ;


12.png


(2)RocketMQ -> RabbitMQ的迁移方案:


方法类似,见下图:


13.png


(3)自动迁移的几种情况:


  • 消费者迁移,生产者不动:
    配置RabbitMQ -> RocketMQ 任务;


  • 生产者迁移,消费者不动:
    配置RocketMQ -> RabbitMQ 任务;


  • 生产者先不迁移,然后迁移了:
    先配置RabbitMQ -> RocketMQ 任务;
    迁移完毕后,关闭RabbitMQ -> RocketMQ 任务;

    配置RocketMQ -> RabbitMQ 任务。


以上就是本次分享的全部内容,点击此处即可查看活动视频回放,期待下次交流。



相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
23天前
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群:从理论到实践
【10月更文挑战第24天】随着大数据时代的到来,数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务,因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而,在构建大规模生产环境下的Kafka集群时,保证其高可用性是至关重要的。本文将从个人实践经验出发,详细介绍如何构建一个高可用性的Kafka集群,包括集群规划、节点配置以及故障恢复机制等方面。
58 4
|
1月前
|
消息中间件 存储 Serverless
【实践】快速学会使用阿里云消息队列RabbitMQ版
云消息队列 RabbitMQ 版是一款基于高可用分布式存储架构实现的 AMQP 0-9-1协议的消息产品。云消息队列 RabbitMQ 版兼容开源 RabbitMQ 客户端,解决开源各种稳定性痛点(例如消息堆积、脑裂等问题),同时具备高并发、分布式、灵活扩缩容等云消息服务优势。
88 2
|
2月前
|
消息中间件 Java Apache
RocketMQ消息回溯实践与解析
在分布式系统和高并发应用的开发中,消息队列扮演着至关重要的角色,而RocketMQ作为阿里巴巴开源的一款高性能消息中间件,以其高吞吐量、高可用性和灵活的配置能力,在业界得到了广泛应用。本文将围绕RocketMQ的消息回溯功能进行实践与解析,分享工作学习中的技术干货。
77 3
|
3月前
|
消息中间件 弹性计算 Kubernetes
RabbitMQ与容器化技术的集成实践
【8月更文第28天】RabbitMQ 是一个开源消息代理和队列服务器,用于在分布式系统中存储、转发消息。随着微服务架构的普及,容器化技术(如 Docker 和 Kubernetes)成为了部署和管理应用程序的标准方式。本文将探讨如何使用 Docker 和 Kubernetes 在生产环境中部署和管理 RabbitMQ 服务,同时保证高可用性和弹性伸缩能力。
66 3
|
3月前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
231 2
|
3月前
|
消息中间件 运维 Kafka
Apache Flink 实践问题之达到网卡的最大速度如何解决
Apache Flink 实践问题之达到网卡的最大速度如何解决
47 2
|
22天前
|
存储 数据挖掘 数据处理
巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践
随着数据湖技术的发展,企业纷纷探索其优化潜力。本文分享了巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践。Paimon 支持流式和批处理,提供高性能、统一的数据访问和流批一体的优势。通过示例代码和实践经验,展示了如何高效处理实时数据,解决了数据一致性和故障恢复等挑战。
103 61
|
26天前
|
消息中间件
解决方案 | 云消息队列RabbitMQ实践获奖名单公布!
云消息队列RabbitMQ实践获奖名单公布!
|
1月前
|
消息中间件 安全 Java
云消息队列RabbitMQ实践解决方案评测
一文带你详细了解云消息队列RabbitMQ实践的解决方案优与劣
69 8
|
1月前
|
消息中间件 存储 弹性计算
云消息队列RabbitMQ实践
云消息队列RabbitMQ实践

相关产品

  • 云消息队列 MQ
  • 推荐镜像

    更多
    下一篇
    无影云桌面