MySQL技术专题之MySQL分布式系统架构设计偏向扩容问题+业务拆分

简介: MySQL技术专题之MySQL分布式系统架构设计偏向扩容问题+业务拆分

分库分表


随着数据量的不断增长,数据库的发展主要经历以下几个步骤:


  • 1主-1从架构


  • 双主-多从架构,读写分离


  • 表分区,提高并发


  • 分表,提高并发


  • Master更换SSD


  • 分库,分表,提高并发




分库分表实现过程


可以将业务库划分成16个库,每个库64个表进行存储,总共1024个表,MySQL单表性能超过千万级别会导致性能严重下降,假设按千万计算,最高可以存储百亿级数据量。随着存储问题的解决,但复杂度会随着增加:


多库怎么保证生成的全局唯一ID


查询复杂度的增加;


例如:商城购物的订单中心,当买家查询订单时,应该去哪个库哪个表里查找,卖家应该去哪查;再大的存储量,随着数据量的增长,终究是会遇到瓶颈,该怎么扩容。


全局唯一订单号


采用Twitter snowflake方案,全剧唯一ID生成由:时间戳+机器ID+自增序列(+userid后两位);

订单的生成过程直接在应用实例中生成,直接在内存中计算,且计算过程分散到每台应用实例中,解决性能问题,userid后两位在后面解释。



数据库连接问题


分库分表后,要连接数据库变的复杂起来,分为两种方案:


直连代码适配模式


此种方式需要在应用代码中,自己计算订单应该进入哪个库,可取订单的后两位,先对库16进行取模,再对表64取模,从而确定。优点是直连数据库性能更好,缺点是代码复杂度增加。


通过中间价连接


服务中间价可以使用阿里的mycat连接,具体使用查看mycat文档。优点:代码实现简单,跟分库前差不多。



数据查询操作


用户需要查询数据的时候,只有userid,并不知道数据存在哪个库哪张表中,从每个库每个表中遍历一遍不现实。所以还要对唯一编号进行改进,之前是:时间戳+机器ID+自增序列。现在此ID的后面加上userid的后两位,时间戳+机器ID+自增序列+userid后两位。


例如:订单入库取模的后两位即userid后两位,即同一个买家的所有订单都会存入同一个表中,通过此设计买家即可找到订单号应该在哪个表中。



扩容问题


此方案已经不是单纯的通过订单号查找订单,还需要通过userid查找订单,其次是订单具有时间特性,用户查询的大部分都是最近的订单,3月前的订单很少会查看,所以不适合进行扩容,特别适合迁移历史数据,将3个月前的数据迁移到历史数据库中,从而解决容量增长的问题。



业务拆分


业务极其复杂,不只是订单号的生成插入等,还要减库存、支付等一系列的操作。所以应该通过消息队列将业务进行拆分,本步骤只做订单生成的操作,通过消息队列实现数据的最终一致性。


多主架构

image.png




相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
11月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
2938 4
|
11月前
|
存储 缓存 安全
某鱼电商接口架构深度剖析:从稳定性到高性能的技术密码
某鱼电商接口架构揭秘:分层解耦、安全加固、性能优化三维设计,实现200ms内响应、故障率低于0.1%。详解三层架构、多引擎存储、异步发布、WebSocket通信与全链路防护,助力开发者突破电商接口“三难”困境。
|
11月前
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)
1827 23
|
11月前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
829 2
|
12月前
|
Cloud Native API 开发者
Gemini 2.5 Flash 技术拆解:从 MoE 架构到阿里云生态落地指南
2025年9月,谷歌Gemini 2.5 Flash发布,性能提升5%、成本降24%,引发行业关注。其MoE架构、百万上下文与“思考”范式,助力阿里云开发者高效构建云原生应用。本文解析技术内核,结合汽车、物流等案例,提供落地指南与避坑建议,展望大模型与流计算融合前景。
1246 6
|
11月前
|
存储 人工智能 搜索推荐
拔俗AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教融合大语言模型、教育知识图谱、多模态感知与智能体技术,重构“教、学、评、辅”全链路。通过微调LLM、精准诊断错因、多模态交互与自主任务规划,实现个性化教学。轻量化部署与隐私保护设计保障落地安全,未来将向情感感知与教育深度协同演进。(238字)
1315 0
|
11月前
|
机器学习/深度学习 监控 PyTorch
68_分布式训练技术:DDP与Horovod
随着大型语言模型(LLM)规模的不断扩大,从早期的BERT(数亿参数)到如今的GPT-4(万亿级参数),单卡训练已经成为不可能完成的任务。分布式训练技术应运而生,成为大模型开发的核心基础设施。2025年,分布式训练技术已经发展到相当成熟的阶段,各种优化策略和框架不断涌现,为大模型训练提供了强大的支持。
1187 0
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
832 2
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
903 6

推荐镜像

更多