微服务架构间数据传输,我坚决反对用缓存!

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介: 微服务架构间数据传输,我坚决反对用缓存!

微服务间数据传输

serviceA传数据给serviceB,如上图:

数据载体有4种方式:

1. Feign调用

2. cache

3. mq

4. 操作serviceB DB

一、直接操作serviceB数据库不可取

根据服务化的原则,数据是私有的(本质也是解耦):

(1)service层会向数据的需求方屏蔽下层存储引擎,分库,cache的复杂性;

(2)任何需求方不能绕过service读写其后端的数据;

(3)不符合DDD设计思想

所以直接操作serviceB数据库肯定不可取,而是通过RPC接口访问,如下图。

二、Feign调用适用场景:

  1. 适用于不要求数据实时性场景,Feign调用不实时,有时延。
  2. 数据量非常小的情况

cache和mq哪种比较适合传输数据

1. 你遇到过这种“服务之间通过缓存传递数据”的架构设计么?

(1)服务A将数据放入缓存;

(2)服务B从缓存里读取数据;


看起来没问题,我们细细分析下。

三、缓存作为数据存储载体

好处是:

  (1)   缓存的读取和写入都非常快;

(2)服务A和服务B物理上解耦;

弊端是:

数据共管场景,两个(多个)service同时读写一个cache实例会导致耦合。

(1)大家要彼此协同约定key的格式,ip地址等,耦合;

(2)约定好同一个key,可能会产生数据覆盖,导致数据不一致;

(3)不同服务业务模式,数据量,并发量不一样,会因为一个cache相互影响,例如serviceA数据量大,占用了cache的绝大部分内存,会导致serviceB的热数据全部被挤出cache,导致cache失效;又例如serviceA并发量高,占用了cache的绝大部分连接,会导致serviceB拿不到cache的连接,从而服务异常;

(4)不实时,有时延

(5)cache具备将数据存在内存里,具有“易失”性。

综上,数据共管场景,多个service耦合在一个cache实例里,也是不推荐的

四、数据管道场景,MQ比cache更加适合

服务A生产数据,服务B(当然,可能有服务C/服务D等)订阅数据,MQ比cache更加合适:

(1)MQ是互联网常见的逻辑解耦,物理解耦组件,支持1对1,1对多各种模式,非常成熟的数据通道

(2)MQ能够支持push,数据是实时

(3)MQ天然支持集群,支持高可用

(4)MQ能支持数据落地,数据放在磁盘。专业的事情应该让专业的技术来干。nginx做反向代理,db做固化,cache做缓存,mq做通道

(5)可扩展,业务V2.0,新增服务,或者定制化功能。可以直接订阅服务A,进行自身的业务处理。

综上,数据管道场景,MQ比cache更加适合。

五、综上所述

(1)数据管道场景,MQ比cache更合适

(2)服务化架构,不应该绕过service读取其后端的cache/db,而应该通过RPC接口访问

六、MQ注意问题:

MQ发送数据失败,消费端幂等问题!

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
相关文章
|
12天前
|
缓存 监控 API
探索微服务架构中的API网关模式
【10月更文挑战第5天】随着微服务架构的兴起,企业纷纷采用这一模式构建复杂应用。在这种架构下,应用被拆分成若干小型、独立的服务,每个服务围绕特定业务功能构建并通过HTTP协议协作。随着服务数量增加,统一管理这些服务间的交互变得至关重要。API网关作为微服务架构的关键组件,承担起路由请求、聚合数据、处理认证与授权等功能。本文通过一个在线零售平台的具体案例,探讨API网关的优势及其实现细节,展示其在简化客户端集成、提升安全性和性能方面的关键作用。
45 2
|
16天前
|
存储 缓存 监控
探索微服务架构中的API网关模式
【10月更文挑战第1天】探索微服务架构中的API网关模式
48 2
|
1月前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
|
1月前
|
负载均衡 Java 应用服务中间件
微服务分布式系统架构之zookeeper与dubbor-1
微服务分布式系统架构之zookeeper与dubbor-1
|
2天前
|
负载均衡 监控 Cloud Native
云原生架构下的微服务治理策略与实践####
在数字化转型加速的今天,云原生技术以其高效、灵活、可扩展的特性成为企业IT架构转型的首选。本文深入探讨了云原生环境下微服务治理的策略与实践路径,旨在为读者提供一个系统性的微服务治理框架,涵盖从服务设计、部署、监控到运维的全生命周期管理,助力企业在云端构建更加稳定、高效的业务系统。 ####
|
3天前
|
运维 监控 Cloud Native
云原生架构下,微服务治理的艺术与实践####
【10月更文挑战第14天】 在数字化转型的大潮中,云原生技术以其高效、灵活与可扩展性成为企业IT架构的首选。本文深入探讨了云原生架构的核心理念,聚焦于微服务治理的策略与实践,揭示了如何通过精细化管理提升系统的响应速度、稳定性和可维护性。不同于传统的摘要概述,本文摘要旨在直接触及读者关注的核心——即如何在复杂多变的云环境中,实现微服务的高效协同与治理,为读者提供一个清晰的行动指南。 ####
12 1
|
14天前
|
Kubernetes 安全 微服务
使用 Istio 缓解电信 5G IoT 微服务 Pod 架构的安全挑战
使用 Istio 缓解电信 5G IoT 微服务 Pod 架构的安全挑战
39 8
|
17天前
|
消息中间件 负载均衡 Cloud Native
云原生之旅:从容器到微服务的架构演变
在数字化转型的风潮中,云原生技术以其灵活性、可扩展性和弹性而备受青睐。本文将通过一个虚拟的故事,讲述一个企业如何逐步拥抱云原生,实现从传统架构向容器化和微服务架构的转变,以及这一过程中遇到的挑战和解决方案。我们将以浅显易懂的方式,探讨云原生的核心概念,并通过实际代码示例,展示如何在云平台上部署和管理微服务。
|
1月前
|
JSON 监控 安全
探索微服务架构中的API网关模式
【9月更文挑战第22天】在微服务架构的海洋中,API网关如同一位智慧的守门人,不仅管理着服务的进出,还维护着整个系统的秩序。本文将带你一探究竟,看看这位守门人是如何工作的,以及它为何成为现代云原生应用不可或缺的一部分。从流量控制到安全防护,再到服务聚合,我们将一起解锁API网关的秘密。
|
1月前
|
缓存 运维 NoSQL
二级缓存架构极致提升系统性能
本文详细阐述了如何通过二级缓存架构设计提升高并发下的系统性能。
109 12