分库分表在大厂的实践

简介: 分库分表在大厂的实践

1 面试题

现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表动态切换到分库分表上?

2 考点分析

你现在已经明白为啥要分库分表了,你也知道常用的分库分表中间件了,你也设计好你们如何分库分表的方案了(水平拆分、垂直拆分、分表),那问题来了,你接下来该怎么把你那个单库单表的系统给迁移到分库分表上去?

所以这都是一环扣一环的,就是看你有没有全流程经历过这个过程


假设,你现有一个单库单表系统在线上跑

单表有600万数据,3个库,每个库里分了4个表,每个表要放50万的数据量

假设你已经选择了一个分库分表的数据库中间件,sharding-jdbc/mycat,都可以

你怎么把线上系统平滑地迁移到分库分表上面去

sharding-jdbc:自己上官网,找一个官网最基本的例子,自己写一下,试一下,跑跑看,是非常简单的

mycat:自己上官网,找一个官网最基本的例子,自己写一下,试一下看看1个小时以内就可以搞定了


3 解决方案

这个其实从low到高大上有好几种方案,我们都玩儿过,我都给你说一下

3.1 停机迁移方案

最low的方案,就是很简单,大家伙儿凌晨12点开始运维,网站或者app挂个公告,说0点到早上6点进行运维,无法访问~


接着到0点,停机,系统停掉,没有流量写入了,此时老的单库单表数据库静止了

然后你之前得写好一个导数据的一次性工具,此时直接跑起来,然后将单库单表的数据哗读出来,写到分库分表里


导数完后,就ok了,修改系统的数据库连接配置啥的,包括可能代码和SQL也许有修改,那你就用最新的代码,然后直接启动连到新的分库分表上去。


验证一下,ok了,完美,大家伸个懒腰,看看看凌晨4点钟的北京夜景,打个滴滴回家吧

长时间停机分库分表

image.png

但是这个方案比较low,谁都能干,我们来看看高大上一点的方案

3.2 双写迁移方案

常用的一种迁移方案,比较靠谱,不用停机,不用看凌晨4点的风景


就是在线上系统,之前所有写库的地方,增删改操作,除了对旧库增删改,都加上对新库的增删改,这就是所谓双写 — 同时写俩库(旧库和新库)


然后系统部署后,新库数据差太远,用之前说的导数工具,跑起来读旧库数据写新库,写的时候要根据gmt_modified这类字段判断这条数据最后修改的时间,除非是读出来的数据在新库没有,或者是比新库的数据新才会写,即不允许用旧数据覆盖新数据!


接着导完一轮后,有可能数据还是不一致,那么就程序自动做一轮校验

对比新旧库每个表的每条数据,接着如果有不一样的,就针对那些不一样的,从旧库读数据再次写。

反复循环,直到两个库每个表的数据都完全一致为止。


接着当数据完全一致了,就ok了,基于仅仅使用分库分表的最新代码,重新部署一次,不就仅仅基于分库分表在操作了么,还没有几个小时的停机时间,很稳。所以现在基本玩数据迁移之类的,都是这么干了。


不停机双写方案


1.png


目录
相关文章
|
XML Dubbo Java
【Dubbo3高级特性】「框架与服务」服务的异步调用实践以及开发模式
【Dubbo3高级特性】「框架与服务」服务的异步调用实践以及开发模式
509 0
|
JavaScript NoSQL Java
高并发架构系列:Redis为什么是单线程、及高并发快的3大原因详解
Redis的高并发和快速原因 1.redis是基于内存的,内存的读写速度非常快;2.redis是单线程的,省去了很多上下文切换线程的时间;3.redis使用多路复用技术,可以处理并发的连接。非阻塞IO 内部实现采用epoll,采用了epoll+自己实现的简单的事件框架。
5086 0
|
5月前
|
消息中间件 存储 Java
庖丁解牛:RocketMQ Broker/Consumer/Producer源码深度剖析与实战
本文深入剖析了RocketMQ的核心机制,从源码层面解析了Producer、Broker和Consumer三大组件。Producer部分详细分析了消息发送流程、队列选择策略和重试机制;Broker部分重点讲解了消息存储架构(CommitLog、ConsumeQueue)、请求处理和刷盘策略;Consumer部分则解析了推/拉模式、偏移量管理和重试机制。通过实战案例展示了分布式事务消息和消息过滤功能,并提供性能优化建议。
345 1
|
SQL 存储 运维
Flyway基本介绍及基本使用
使用5W1H方式介绍一下在Java项目开发中使用Flyway来管理数据库版本。。
10789 0
Flyway基本介绍及基本使用
|
微服务 设计模式 测试技术
深入理解 DDD(领域驱动设计)思想
领域驱动设计(DDD)是一种以业务为核心的软件开发方法,通过限界上下文、聚合、实体、值对象等模型,分离业务与技术复杂性,提升系统可维护性与扩展性,尤其适用于复杂业务系统的架构设计。
1672 7
|
存储 数据可视化 Java
基于MicrometerTracing门面和Zipkin实现集成springcloud2023的服务追踪
Sleuth将会停止维护,Sleuth最新版本也只支持springboot2。作为替代可以使用MicrometerTracing在微服务中作为服务追踪的工具。
822 2
|
存储 缓存 前端开发
前端谷歌浏览器面版属性
【8月更文挑战第19天】前端谷歌浏览器面版属性
310 0
|
Shell 数据库
【YashanDB知识库】YAS-00402 failed to connect socket, errno 111, error message "Connection refused"
【YashanDB知识库】YAS-00402 failed to connect socket, errno 111, error message "Connection refused"
【YashanDB知识库】YAS-00402 failed to connect socket, errno 111, error message "Connection refused"
|
存储 内存技术
内存条RAM详细指南
内存条(RAM)是电脑中用于临时存储数据和程序的部件,CPU依赖它执行操作。内存条经历了从主内存扩展到读写内存整体的发展,常见类型包括SDRAM和DDR SDRAM。内存容量、存取时间和奇偶校验是衡量其性能的关键指标。在选购时,应考虑类型、容量、速度和品牌,知名品牌的内存条提供更好的可靠性和稳定性。
5904 2
|
缓存 算法 固态存储
VSAN数据恢复——开启重删压缩的全闪存VSAN下虚拟机数据恢复案例
VMware VSAN超融合架构,11台服务器节点。每台服务器节点上创建1个磁盘组,磁盘组包括1块PCIe固态硬盘(作为缓存盘)和8-10块SSD(作为数据盘),组成VSAN存储空间来存放虚拟机文件。启用了去重和压缩功能。 一台服务器节点上的一块PCIE缓存盘出现故障,导致VSAN逻辑架构问题。2台虚拟机磁盘组件出现问题,虚拟机无法正常使用。