微服务改造血泪史:数据库拆分踩过的那些坑!

简介: 本文复盘了传统项目改造成微服务架构时,数据库拆分过程中遇到的问题。主要问题包括:1. 数据库拆分过细,导致跨服务调用频繁,破坏服务独立性;2. 数据一致性难以保证,分布式事务管理复杂;3. 跨服务查询影响性能,复杂查询难以实现。初次改造时应避免过度拆分,逐步演进架构。

今天来复盘一下微服务中数据拆分过程中所踩过的那些坑,背过的锅。。。  


添加图片注释,不超过 140 字(可选)


这里来复盘一下,传统项目改造成微服务架构时,数据库拆分所踩过的坑。

1. 数据库拆分过细

在传统的单体架构中,数据库通常是集中式的,每个服务都可以直接访问同一个数据库。对于初次从传统架构转向微服务架构而且没有有微服务经验的团队来说。微服务拆分后,摆在面前的首要问题就是数据库如何设计。

是一个微服务对应一个数据库还是可以多个微服务数据库统一在一起呢?

回头看这或许就不是什么问题,微服务架构本身就是每个服务拥有自己的数据存储。但对于初次改造的团队来说还是会有不少问题,在微服务拆分过细这个前提下,每个微服务对应一个数据库。会带很不少坑

坑点:

  • 数据库拆分过细,导致频繁的跨服务数据调用,破坏了服务之间的独立性。
  • 数据库拆分过细,会造成数据冗余多、查询复杂化等问题。

原本一条简单的 SQL 就可以完成一次查询,现在需要找 3~4 个人,调用他们 3~4 个接口才能完成。第一费人,第二费时间,第三费机器性能。另外别人接口要调整时影响的人也比较多了,并且有时你要调整别人还不一定会及时响应。面对这些问题,团队就会出现各种各样的解决办法。

比如自己悄悄的建个视图或存储过程,如果审查不严这项目维护成本就大大增加,这影响今后还可能被放大。


2. 数据一致性问题

在单体架构中,由于数据库是集中式的,事务的一致性通过数据库事务机制(如ACID)来保证。然而,在微服务中,多个服务可能需要同时对多个数据库进行更新,无法再使用传统的事务处理方式保证一致性。

坑点:

  • 分布式事务难以管理,可能会导致数据不一致问题。
  • 缺乏分布式锁机制,可能造成数据冲突或重复。

数据致性又是另一个问题,当时团队有人使用过 LCN,所以当时使用的是 LCN 来实现分布式事务,LCN 实现分布式事务的机制是锁,如果用的不好就会出现把一大片业务给锁了。

当然现在还有很多更好的方案比如:

  • 通过事件驱动架构,在消息队列中传递状态变化事件,确保异步更新数据。
  • 阿里巴巴开源的分布式事务组件 Seata,支持TCC、SAGA、AT(自动事务)等多种模式  


3. 跨服务查询和性能问题

微服务架构要求各个服务的数据隔离,但在实际业务中,很多场景会涉及跨服务的数据查询。如果数据库拆分后频繁进行跨服务查询,将导致查询效率低下,甚至出现网络瓶颈。

坑点:

  • 服务之间频繁通过API调用查询,影响系统性能和响应时间。
  • 数据分布在不同数据库中,复杂查询(如多表Join)难以实现。

这个问题也是上面的提到,当时团队中有人用视图或存储过程悄悄的实现,破坏了微服务解耦性。后面规范起来最大的原则就是不能走回去,坚持拆分这条路,然后就是通过冗余一些数据减少跨微服务的调用。不过这种也是造成了不少空间的浪费和数据同步的代价,还是加重了服务之前的关联性。


总的问题还是在第一次改造把微服务拆分的过细,所以对于初次传统项目改造成微服务架构的团队来说,第一次拆分不要太细,好的架构并不是一次设计出来的,而是演变而来的。


我是栈江湖,如果你喜欢此文章,不要忘记关注+点赞哦!你的支持是我创作的动力。如果你有任何意见或建议,欢迎在下方留言。若转载,请注明文章来源。



目录
相关文章
|
2天前
|
调度 云计算 芯片
云超算技术跃进,阿里云牵头制定我国首个云超算国家标准
近日,由阿里云联合中国电子技术标准化研究院主导制定的首个云超算国家标准已完成报批,不久后将正式批准发布。标准规定了云超算服务涉及的云计算基础资源、资源管理、运行和调度等方面的技术要求,为云超算服务产品的设计、实现、应用和选型提供指导,为云超算在HPC应用和用户的大范围采用奠定了基础。
|
9天前
|
存储 运维 安全
云上金融量化策略回测方案与最佳实践
2024年11月29日,阿里云在上海举办金融量化策略回测Workshop,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。活动特别设计了动手实践环节,帮助参会者亲身体验阿里云产品功能,涵盖EHPC量化回测和Argo Workflows量化回测两大主题,旨在提升量化投研效率与安全性。
云上金融量化策略回测方案与最佳实践
|
11天前
|
人工智能 自然语言处理 前端开发
从0开始打造一款APP:前端+搭建本机服务,定制暖冬卫衣先到先得
通义灵码携手科技博主@玺哥超carry 打造全网第一个完整的、面向普通人的自然语言编程教程。完全使用 AI,再配合简单易懂的方法,只要你会打字,就能真正做出一个完整的应用。
8880 20
|
15天前
|
Cloud Native Apache 流计算
资料合集|Flink Forward Asia 2024 上海站
Apache Flink 年度技术盛会聚焦“回顾过去,展望未来”,涵盖流式湖仓、流批一体、Data+AI 等八大核心议题,近百家厂商参与,深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ,可在线阅读和下载。
4769 12
资料合集|Flink Forward Asia 2024 上海站
|
15天前
|
自然语言处理 数据可视化 API
Qwen系列模型+GraphRAG/LightRAG/Kotaemon从0开始构建中医方剂大模型知识图谱问答
本文详细记录了作者在短时间内尝试构建中医药知识图谱的过程,涵盖了GraphRAG、LightRAG和Kotaemon三种图RAG架构的对比与应用。通过实际操作,作者不仅展示了如何利用这些工具构建知识图谱,还指出了每种工具的优势和局限性。尽管初步构建的知识图谱在数据处理、实体识别和关系抽取等方面存在不足,但为后续的优化和改进提供了宝贵的经验和方向。此外,文章强调了知识图谱构建不仅仅是技术问题,还需要深入整合领域知识和满足用户需求,体现了跨学科合作的重要性。
|
23天前
|
人工智能 自动驾驶 大数据
预告 | 阿里云邀您参加2024中国生成式AI大会上海站,马上报名
大会以“智能跃进 创造无限”为主题,设置主会场峰会、分会场研讨会及展览区,聚焦大模型、AI Infra等热点议题。阿里云智算集群产品解决方案负责人丛培岩将出席并发表《高性能智算集群设计思考与实践》主题演讲。观众报名现已开放。
|
11天前
|
人工智能 容器
三句话开发一个刮刮乐小游戏!暖ta一整个冬天!
本文介绍了如何利用千问开发一款情侣刮刮乐小游戏,通过三步简单指令实现从单个功能到整体框架,再到多端优化的过程,旨在为生活增添乐趣,促进情感交流。在线体验地址已提供,鼓励读者动手尝试,探索编程与AI结合的无限可能。
三句话开发一个刮刮乐小游戏!暖ta一整个冬天!
|
10天前
|
消息中间件 人工智能 运维
12月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
878 58