高速飞机上换引擎,MQ如何实现平滑迁移?

简介: 公司要切换MQ,从一个旧的服务商升级为新的服务商,问有没有什么好方案。

image.png

前几天,杨紫琼同学在知识星球提问,说公司要切换MQ,从一个旧的服务商升级为新的服务商,问有没有什么好方案。

这个需求估计还挺普遍的,这里分享一些经验。
  一、MQ架构简述
image.png

如上图,使用MQ异步通信,一般分为三层

消息发送方 :使用MQ客户端生成消息。

MQ-client::SendMsg(topic, msg);

  MQ服务 :中转消息。   消息接收方 :使用MQ客户端消费消息。

MQ-client::RecvMsg(topic, msg, CALLBACK_FUNC);

  这是一个典型的pub-sub架构,如果要替换MQ供应商,至少 三个地方要替换
  • 发送方mq-client

  • MQ-server

  • 接收方mq-client

如何平滑迁移,是今天要讨论的话题。   二、平滑迁移方案 平滑迁移的目标是: 不停服,平滑升级   如果有很多主题,需要一个一个主题的迁移,每个主题的迁移,分为三个步骤   步骤一:消费方双向订阅
image.png

如上图所示,不妨设:

  • 粉色是旧MQ体系

  • 蓝色是新MQ体系

平滑迁移最终目的,是“发布-服务-订阅”三层全由粉色升级为蓝色。   第一步升级消费方,同一个主题,既要订阅旧MQ,又要订阅新MQ   此时,“新服务-新订阅”之间虽然有TCP连接,但“新发布”没有上线,实际上不会有消息发送过来(上图虚线),消息仍走的是旧MQ(上图实线)。   步骤二:生产方升级为新发布
image.png

第二步升级生产方,由旧MQ发布,升级为新MQ发布

  此时,“新发布-新服务-新订阅”之间会建立TCP连接,消息会转移到新通道(上图实线),“旧服务-旧订阅”之间虽然有TCP连接,但实际不会有消息发送过来(上图虚线)。   步骤三:消费方下线旧订阅
image.png

第三步升级消费方,将旧订阅下线,整个MQ的迁移完成

  三、架构启示 MQ更换服务商,蚂蚁搬家,一步步平滑迁移,成本其实还挺高的。   之所以这么麻烦,不能统一升级,本质是 业务与底层基础设施细节 (即,具体使用哪个MQ)的 耦合 。如果公司在早期技术体系规划的时候,能够“浅浅的封装一层”,便能隔离“业务代码”与“底层基础设施细节”。   举个更通俗的例子。   假如没有封装一层,业务代码是:

ActiveMQ-client::SendMsg(topic, msg);

ActiveMQ-client::RecvMsg(topic, msg, CALLBACK_FUNC);

即,业务方需要关心ActiveMQ,如果基础设施升级为RabbitMQ,业务代码需要升级。   假如有一层浅浅的封装

ShenJianMQ::SendMsg(topic, msg){

ActiveMQ-client::SendMsg(topic,msg);

}

 

ShenJianMQ::RecvMsg(topic, msg,CALLBACK_FUNC)

ActiveMQ-client::RecvMsg(topic,msg, CALLBACK_FUNC);

}

业务方不需要关心底层是什么MQ ,而只需要依赖基础组件ShenJianMQ。   此时如果基础设施升级为RabbitMQ,只需要基础组件ShenJianMQ升级。 第一步:RecvMsg升级为双向订阅。

ShenJianMQ::RecvMsg(topic, msg,CALLBACK_FUNC)

ActiveMQ-client::RecvMsg(topic, msg, CALLBACK_FUNC);

RabbitMQ-client::RecvMsg(topic, msg, CALLBACK_FUNC);

}

  第二步:SendMsg升级为新发布。

ShenJianMQ::SendMsg(topic, msg){

RabbitMQ-client::SendMsg(topic, msg);

}

  第三步:RecvMsg下线旧订阅。

ShenJianMQ::RecvMsg(topic, msg,CALLBACK_FUNC)

RabbitMQ-client::RecvMsg(topic, msg, CALLBACK_FUNC);

}

  会发现,除了升级依赖新版的ShenJianMQ基础组件, 业务代码不需要修改代码   不仅 MQ,缓存与数据库的客户端,浅浅封装一层 也能实现业务代码与基础组件的解耦,在基础组建替换,或者基础组建升级的时候,业务代码不需要升级。
画外音:浅浅封装一层之后,监控/告警/数据收集等工作都更容易统一实现了。   关于是使用开源,还是浅浅封装,还是自研,《基础组件,究竟要不要自研?》有更加详尽的讨论。   关于MQ平滑迁移的问题,先聊这么多,希望能解答杨紫琼同学的问题。

本文转自“架构师之路”公众号,58沈剑提供。

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
4月前
|
消息中间件 Prometheus 监控
消息队列 MQ使用问题之如何将旧集群的store目录迁移到新集群
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
4月前
|
消息中间件 存储 Java
消息队列 MQ使用问题之如何将RocketMQ中某个集群的topic迁移到另一个集群
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
消息中间件 存储 物联网
Apache RocketMQ,构建云原生统一消息引擎
Apache RocketMQ,构建云原生统一消息引擎
75161 76
|
6月前
|
消息中间件 存储 Cloud Native
【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台
【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台
89 0
|
消息中间件 存储 缓存
|
消息中间件 Serverless API
Apache RocketMQ EventBridge,构建下一代事件驱动引擎
本文主要介绍了事件以及特性,优秀的事件驱动引擎,需要具备的能力以及Apache RocketMQ EventBridge是如何做的。
|
消息中间件 Apache RocketMQ
《万亿级数据洪峰下的消息引擎——Apache RocketMQ》电子版地址
万亿级数据洪峰下的消息引擎——Apache RocketMQ
336 0
《万亿级数据洪峰下的消息引擎——Apache RocketMQ》电子版地址
|
存储 人工智能 Cloud Native
基于 RocketMQ 构建阿里云事件驱动引擎EventBridge
阿里云事件总线 EventBridge 作为云上的事件枢纽,最核心的能力是连接。无论是在线业务场景、IoT 场景、还是大数据场景,无论是阿里云、其他云厂商,还是私有 IDC 机房,我们都将提供安全可靠的集成方式。
613 4
基于 RocketMQ 构建阿里云事件驱动引擎EventBridge
|
消息中间件 SQL 存储
RocketMQ Streams:将轻量级实时计算引擎融合进消息系统
随着各行各业移动互联和云计算技术的普及发展,大数据计算已深入人心,最常见的比如 flink、spark 等。这些大数据框架,采用中心化的 Master-Slave 架构,依赖和部署比较重,每个任务也有较大开销,有较大的使用成本。RocketMQ Streams 着重打造轻量计算引擎,除了消息队列,无额外依赖,对过滤场景做了大量优化,性能提升 3-5 倍,资源节省 50%-80%。
688 0
RocketMQ Streams:将轻量级实时计算引擎融合进消息系统
|
存储 消息中间件 人工智能
基于 RocketMQ 构建阿里云事件驱动引擎——EventBridge
以Kubernetes为基础设施的云原生技术,彻底改变了我们的开发和思维模式。事件作为云原生领域的一等公民,已经无处不在,是云原生架构体系松耦合、灵活性的基础。 作为Gartner定义的10大战略技术趋势之一,事件驱动架构(EDA)逐渐成为主流技术架构。根据Gartner的预估,到2022年,在新型数字化商业的解决方案中,将有6成使用EDA,在商业组织参与的技术栈中,EDA有一半的占比。 本文
1725 0
基于 RocketMQ 构建阿里云事件驱动引擎——EventBridge