深入浅出MySQL(七) 如何通俗地来理解表的横向拆分的实现原理

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介: 深入浅出MySQL(七) 如何通俗地来理解表的横向拆分的实现原理

今天的这个案例主要是正对于讲解这个Mysql的横向拆分技术:


当然这篇文章的主要是简单介绍横向拆分的一个具体思路和过程,主要是提供一种简单的思路而已。


首先我们来模拟一个场景,用户表里面有着一千万的数据量的内容,这个时候我们该如何进行优化呢?


这个时候不妨试试用横向拆分的技术来进行优化。


首先我们来看看数据库里面的内容:


网络异常,图片无法展示
|


一共有一千万条数据信息,这个时候我们可以继续深入:


假设有一个请求要开展用户搜索:


SELECT * from user where username like '9990%' 
复制代码


消耗时间如下:


网络异常,图片无法展示
|


假设现在到了一个高峰时期,我们同时有上万个在线用户,同时要对user表进行大量的请求和访问,那么就会对user表造成相当巨大的压力,这样我们就需要对该表的压力进行相应的分担。


此时我们不妨可以试试横向分表的思想来进行优化:


例如说我们使用一定的技巧:


取模分表法


首先我们可以将user表扩展为10张:


网络异常,图片无法展示
|


INSERT INTO user_1 (id, username, PASSWORD, age) SELECT id,username,password,age 
FROM `user` where id%10=0
复制代码


使用取模的思想将主表user的数据分割放在了剩余的10张表里面。


如:


INSERT INTO user_2 (id, username, PASSWORD, age)SELECT id,username,password,age FROM `user` where id%10=1
INSERT INTO user_3 (id, username, PASSWORD, age)SELECT id,username,password,age FROM `user` where id%10=2
复制代码


就这样一步步地将主表(user)里面的数据拆分存储在不同的从表(user_1,user_2…)里面去


网络异常,图片无法展示
|


同理,我们对十张从表进行数据插入操作


这样的话,一张表的压力就会被缩小了十倍了。(暂时不考虑数据访问的冷热性)那么这个时候我们进行搜索的时候就可以通过id的范围来进行分表查询了。


1-10号user表里面的数据可以根据id来确定查询的范围大小。


下边就是一个结合mybatis的查询案例了(一千万数据起步):


其实关于sql部分的查询内容基本如下所示:


网络异常,图片无法展示
|


在我们的sql设计部分里面,有一个table_index的设置,这个table_index设置可以通过相应的id来进行区分:


网络异常,图片无法展示
|


然后我开启dubbo服务之后,我们使用swagger远程调用这个rpc接口之后即

进行测试了:


网络异常,图片无法展示
|


相应的sql内容如下所示:


网络异常,图片无法展示
|


这样子的设计就能够较好地减轻对于数据表的压力了。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
7月前
|
存储 SQL 关系型数据库
mysql底层原理:索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog(图解+秒懂+史上最全)
mysql底层原理:索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog(图解+秒懂+史上最全)
mysql底层原理:索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog(图解+秒懂+史上最全)
|
11月前
|
自然语言处理 搜索推荐 关系型数据库
MySQL实现文档全文搜索,分词匹配多段落重排展示,知识库搜索原理分享
本文介绍了在文档管理系统中实现高效全文搜索的方案。为解决原有ES搜索引擎私有化部署复杂、运维成本高的问题,我们转而使用MySQL实现搜索功能。通过对用户输入预处理、数据库模糊匹配、结果分段与关键字标红等步骤,实现了精准且高效的搜索效果。目前方案适用于中小企业,未来将根据需求优化并可能重新引入专业搜索引擎以提升性能。
528 5
|
存储 SQL 关系型数据库
MySQL进阶突击系列(03) MySQL架构原理solo九魂17环连问 | 给大厂面试官的一封信
本文介绍了MySQL架构原理、存储引擎和索引的相关知识点,涵盖查询和更新SQL的执行过程、MySQL各组件的作用、存储引擎的类型及特性、索引的建立和使用原则,以及二叉树、平衡二叉树和B树的区别。通过这些内容,帮助读者深入了解MySQL的工作机制,提高数据库管理和优化能力。
|
7月前
|
SQL 关系型数据库 MySQL
MySQL group by 底层原理详解。group by 执行 慢 原因深度分析。(图解+秒懂+史上最全)
MySQL group by 底层原理详解。group by 执行 慢 原因深度分析。(图解+秒懂+史上最全)
MySQL group by 底层原理详解。group by 执行 慢 原因深度分析。(图解+秒懂+史上最全)
|
12月前
|
关系型数据库 MySQL 数据库
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。
734 9
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
740 7
MySQL事务日志-Undo Log工作原理分析
|
SQL 存储 关系型数据库
MySQL主从复制 —— 作用、原理、数据一致性,异步复制、半同步复制、组复制
MySQL主从复制 作用、原理—主库线程、I/O线程、SQL线程;主从同步要求,主从延迟原因及解决方案;数据一致性,异步复制、半同步复制、组复制
1375 11
|
存储 缓存 关系型数据库
MySQL进阶突击系列(08)年少不知BufferPool核心原理 | 大哥送来三条大金链子LRU、Flush、Free
本文深入探讨了MySQL中InnoDB存储引擎的buffer pool机制,包括其内存管理、数据页加载与淘汰策略。Buffer pool作为高并发读写的缓存池,默认大小为128MB,通过free链表、flush链表和LRU链表管理数据页的存取与淘汰。其中,改进型LRU链表采用冷热分离设计,确保预读机制不会影响缓存公平性。文章还介绍了缓存数据页的刷盘机制及参数配置,帮助读者理解buffer pool的运行原理,优化MySQL性能。
|
SQL 关系型数据库 MySQL
MySQL派生表合并优化的原理和实现
通过本文的详细介绍,希望能帮助您理解和实现MySQL中派生表合并优化,提高数据库查询性能。
348 16
|
SQL 关系型数据库 MySQL
MySQL派生表合并优化的原理和实现
通过本文的详细介绍,希望能帮助您理解和实现MySQL中派生表合并优化,提高数据库查询性能。
183 7

推荐镜像

更多