水平分库分表的策略

简介: 水平分库分表的策略

公众号merlinsea


方式1:按照范围进行划分


   优点:数据的id可以自增长,在进行扩容的时候原来的老旧数据不需要迁移。


   缺点:⼤部分读和写都访会问新的数据,有IO瓶颈,整体资源利⽤率低;    数据倾斜严重,热点数据过于集中,部分节点有瓶颈。


640.jpg


方式2:按照时间进行划分


   按照时间的方式进行划分数据,这种方式在做日志采集的时候常常采用,既可以用于分库也可以用于分表。


   优点:数据的id可以自增长,在进行扩容的时候原来的老旧数据不需要迁移。


   缺点:⼤部分读和写都访会问新的数据,有IO瓶颈,整体资源利⽤率低    数据倾斜严重,热点数据过于集中,部分节点有瓶颈

640.jpg


方式3:按照地理位置进行划分


   按照地理位置进行数据的划分,在做云服务器售卖平台的时候就会用到这种方式,但考虑到不同的城市访问量的区别,可以将访问量高的大区继续向更细粒度划分。

640.jpg


方式4:按照hash取模进行划分


   假设要将数据分到100个表,假设来了数据data,hash(data)%100=具体某个表 。

   为什么不直接取模而要用hash以后再取模?


    答:   1、并不是每一个数据的字段都是可以进行数值运算的,通过hash可以将数据变为数值类型    2、hash可以进一步将数据随机化,这便于热点数据均匀分布。

   优点:保证数据较均匀的分散落在不同的库、表中,可以有效的避免热点数据集中问题

   缺点:扩容不是很⽅便,需要数据迁移


640.jpg


说明


   上述的分库分表策略大都是用于水平分库分表,即表的结构是不会改变的,如果说需要垂直分库分表,则实际上是需要将一个项目按照业务 领域进行拆分。在实际的工作中,其实程序员最常用的也都是水平分库分表


  • 关于leetcode算法训练营:
  •    加我微信号私聊参加训练营,尤其是想进入大厂工作的同学,算法是绕不过去的坎,我自己花了三年时间刷算法,总结思路,刷各种数据结构课程,加入我的训练营,我手把手以在线直播课的形式带你理思路,手把手带你写代码,让你真正体会算法之美~,同时遇到不明白的地方可以直接课上和我沟通,彻底解决你的代码困难证~

本人用c++刷了800道左右的算法,java语言刷了600道左右的算法题,并对这些题做了详细的个人总结。本科期间系统学习了数据结构与算法课程,同时考研过程中写完了率辉主编的《2020年数据结构高分笔记》和《数据结构1000题》,看完的视频包括《mooc浙大数据结构国家精品课程》和《王道考研408数据结构课程》,《王道2019年算法题讲解视频》,最终以初试专业第三名进入了北理工软件工程专业。熟悉并掌握常见的数据结构,比如链表、数组、树、图、队列、堆栈等等,精通数据结构教材中的所有算法,比如常见的遍历算法、动态规划,递归,回溯,剪枝,并查集,最短路径,拓扑排序等,所以快加入训练营吧,我们一起进步

奔跑的小梁,公众号:梁霖编程工具库我决定了,算法文档开源!!


相关文章
|
6月前
|
存储 大数据 数据库
分库分表知识总结(三)之水平分表
分库分表知识总结(三)之水平分表
92 0
|
SQL 算法 Java
自定义水平分库分表策略【范围分片】
自定义水平分库分表策略【范围分片】
|
算法 Java 数据库连接
自定义水平分库分表的策略【精准分片】
自定义水平分库分表的策略【精准分片】
|
SQL 算法 Java
自定义水平分库分表策略【hint分片】
自定义水平分库分表策略【hint分片】
|
SQL 算法 Java
水平分库和水平分表
水平分库和水平分表
|
存储 大数据 数据库
水平分库
水平分库
113 0
水平分库
|
缓存 数据库 索引
水平分表
水平分表
130 0
水平分表
|
存储 中间件 数据库
ShardingSphere-分库分表(水平切分) | 学习笔记
快速学习ShardingSphere-分库分表(水平切分)。
240 0
ShardingSphere-分库分表(水平切分) | 学习笔记
|
SQL 存储 负载均衡
谈谈 PolarDB-X 的水平扩展
水平扩展(Scale Out)对于数据库系统是一个重要的能力。采用支持 Scale Out 架构的存储系统在扩展之后,从用户的视角看起来它仍然是一个单一的系统,对应用完全透明,因此,它可以使数据库系统能有效地应对不同的负载场景,对用户非常用价值。 但是,数据库本身是一个有状态的系统,所以,它的水平扩展是一件比较困难的事情。数据库通常需要管理着庞大的数据,系统在扩展期间,如何保证数据一致性、高可用以及系统整体的负载均衡,更是整个水平扩展的难点。 水平扩展按不同资源类型分类,可以细分为计算节点的水平扩展与数据节点的水平扩展,后文若无特别说明,水平扩展特指数据节点的水平扩展。而数据节点的水平扩展
290 0
|
算法 Java 数据库连接
ShardingJDBC实现水平分库、水平分表
ShardingJDBC实现水平分库、水平分表
ShardingJDBC实现水平分库、水平分表