微服务架构间数据传输,我坚决反对用缓存!

本文涉及的产品
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,同步至SelectDB 1个月
简介: 微服务架构间数据传输,我坚决反对用缓存!

微服务间数据传输

serviceA传数据给serviceB,如上图:

数据载体有4种方式:

1. Feign调用

2. cache

3. mq

4. 操作serviceB DB

一、直接操作serviceB数据库不可取

根据服务化的原则,数据是私有的(本质也是解耦):

(1)service层会向数据的需求方屏蔽下层存储引擎,分库,cache的复杂性;

(2)任何需求方不能绕过service读写其后端的数据;

(3)不符合DDD设计思想

所以直接操作serviceB数据库肯定不可取,而是通过RPC接口访问,如下图。

二、Feign调用适用场景:

  1. 适用于不要求数据实时性场景,Feign调用不实时,有时延。
  2. 数据量非常小的情况

cache和mq哪种比较适合传输数据

1. 你遇到过这种“服务之间通过缓存传递数据”的架构设计么?

(1)服务A将数据放入缓存;

(2)服务B从缓存里读取数据;


看起来没问题,我们细细分析下。

三、缓存作为数据存储载体

好处是:

  (1)   缓存的读取和写入都非常快;

(2)服务A和服务B物理上解耦;

弊端是:

数据共管场景,两个(多个)service同时读写一个cache实例会导致耦合。

(1)大家要彼此协同约定key的格式,ip地址等,耦合;

(2)约定好同一个key,可能会产生数据覆盖,导致数据不一致;

(3)不同服务业务模式,数据量,并发量不一样,会因为一个cache相互影响,例如serviceA数据量大,占用了cache的绝大部分内存,会导致serviceB的热数据全部被挤出cache,导致cache失效;又例如serviceA并发量高,占用了cache的绝大部分连接,会导致serviceB拿不到cache的连接,从而服务异常;

(4)不实时,有时延

(5)cache具备将数据存在内存里,具有“易失”性。

综上,数据共管场景,多个service耦合在一个cache实例里,也是不推荐的

四、数据管道场景,MQ比cache更加适合

服务A生产数据,服务B(当然,可能有服务C/服务D等)订阅数据,MQ比cache更加合适:

(1)MQ是互联网常见的逻辑解耦,物理解耦组件,支持1对1,1对多各种模式,非常成熟的数据通道

(2)MQ能够支持push,数据是实时

(3)MQ天然支持集群,支持高可用

(4)MQ能支持数据落地,数据放在磁盘。专业的事情应该让专业的技术来干。nginx做反向代理,db做固化,cache做缓存,mq做通道

(5)可扩展,业务V2.0,新增服务,或者定制化功能。可以直接订阅服务A,进行自身的业务处理。

综上,数据管道场景,MQ比cache更加适合。

五、综上所述

(1)数据管道场景,MQ比cache更合适

(2)服务化架构,不应该绕过service读取其后端的cache/db,而应该通过RPC接口访问

六、MQ注意问题:

MQ发送数据失败,消费端幂等问题!

相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
相关文章
|
6月前
|
存储 缓存 NoSQL
分布式系统架构8:分布式缓存
本文介绍了分布式缓存的理论知识及Redis集群的应用,探讨了AP与CP的区别,Redis作为AP系统具备高性能和高可用性但不保证强一致性。文章还讲解了透明多级缓存(TMC)的概念及其优缺点,并详细分析了memcached和Redis的分布式实现方案。此外,针对缓存穿透、击穿、雪崩和污染等常见问题提供了应对策略,强调了Cache Aside模式在解决数据一致性方面的作用。最后指出,面试中关于缓存的问题多围绕Redis展开,建议深入学习相关知识点。
488 8
|
7月前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
8月前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
187 3
|
8月前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
3月前
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
243 12
|
7月前
|
Java 开发者 微服务
从单体到微服务:如何借助 Spring Cloud 实现架构转型
**Spring Cloud** 是一套基于 Spring 框架的**微服务架构解决方案**,它提供了一系列的工具和组件,帮助开发者快速构建分布式系统,尤其是微服务架构。
530 70
从单体到微服务:如何借助 Spring Cloud 实现架构转型
|
7月前
|
运维 监控 持续交付
微服务架构解析:跨越传统架构的技术革命
微服务架构(Microservices Architecture)是一种软件架构风格,它将一个大型的单体应用拆分为多个小而独立的服务,每个服务都可以独立开发、部署和扩展。
1802 36
微服务架构解析:跨越传统架构的技术革命
|
6月前
|
存储 缓存 安全
分布式系统架构7:本地缓存
这是小卷关于分布式系统架构学习的第10篇文章,主要介绍本地缓存的基础理论。文章分析了引入缓存的利弊,解释了缓存对CPU和I/O压力的缓解作用,并讨论了缓存的吞吐量、命中率、淘汰策略等属性。同时,对比了几种常见的本地缓存工具(如ConcurrentHashMap、Ehcache、Guava Cache和Caffeine),详细介绍了它们的访问控制、淘汰策略及扩展功能。
152 6
|
6月前
|
人工智能 安全 Java
微服务引擎 MSE:打造通用的企业级微服务架构
微服务引擎MSE致力于打造通用的企业级微服务架构,涵盖四大核心内容:微服务技术趋势与挑战、MSE应对方案、拥抱开源及最佳实践。MSE通过流量入口、内部流量管理、服务治理等模块,提供高可用、跨语言支持和性能优化。此外,MSE坚持开放,推动云原生与AI融合,助力企业实现无缝迁移和高效运维。
229 1
|
5月前
|
传感器 监控 安全
智慧工地云平台的技术架构解析:微服务+Spring Cloud如何支撑海量数据?
慧工地解决方案依托AI、物联网和BIM技术,实现对施工现场的全方位、立体化管理。通过规范施工、减少安全隐患、节省人力、降低运营成本,提升工地管理的安全性、效率和精益度。该方案适用于大型建筑、基础设施、房地产开发等场景,具备微服务架构、大数据与AI分析、物联网设备联网、多端协同等创新点,推动建筑行业向数字化、智能化转型。未来将融合5G、区块链等技术,助力智慧城市建设。
234 0