开发者社区> 游客g4g6z53zdhqr4> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

数据库中间件分片算法之hash

简介: Hash分区算法是一种比较典型而且常用的算法。要使用HASH分区算法需要在rule.xml中定义两个部分。
+关注继续查看

前言

夜深人静的时候,打开云音乐,点上一曲攀登,带上真无线蓝牙耳机,瞬间燃到爆,键盘打字如飞倦意全无。

分片规则

这几天有人问我,dble和MyCat到底有什么不同。其实dble作为MyCAT的同门,吸收了MyCat的精华,同时也相应的做了一些减法。只支持MySQL显得更加的纯粹。所以选择对比学习两者我觉得挺好。

前面我们学习了schema.xml文件的配置,我们能独立的把逻辑库逻辑表搭建起来,让数据表跟随我们的定义规则(取模)进行分布。今天我们介绍具体的分片算法。dble相对于mycat来说,是做了一些减法的。比如一致hash算法就没有,而是使用了jumpstringhash代替了一致性hash。具体原因可以参考文章dble 沿用 jumpstringhash,移除 Mycat 一致性 hash 原因

  1. hash分区算法
  2. stringhash分区算法
  3. enum分区算法
  4. numberrange分区算法
  5. patternrange分区算法
  6. date分区算法
  7. jumpstringhash算法

HASH分区算法

Hash分区算法是一种比较典型而且常用的算法。要使用HASH分区算法需要在rule.xml中定义两个部分。

分区规则定义

如下所示,使用tableRule标签定义,name对应的是规则的名字,而rule标签中的columns则对应的分片字段,这个字段必须和表中的字段一致。algorithm则代表了执行分片函数的名字。

<tableRule name="auto-sharding-long">
<rule>
<columns>id</columns>
<algorithm>rang-long</algorithm>
</rule>
</tableRule>

分区算法定义

如下所示,使用function标签定义分区算法,name代表算法的名字,算法的名字要和上面的tableRule中的标签相对应。class:指定分区算法实现类。property指定了对应分区算法的参数。不同的算法参数不同。

<function name="rang-long" class="com.actiontech.dble.route.function.AutoPartitionByLong">
<property name="mapFile">auto-sharding-long.txt</property>
...
</function>
  • partitionCount:指定分区的区间数,具体为 C1 +C2 + ... + Cn
  • partitionLength:指定各区间长度,具体区间划分为 [0, L1), [L1, 2L1), ..., [(C1-1)L1, C1L1), [C1L1, C1L1+L2), [C1L1+L2, C1L1+2L2), ... 其中,每一个区间对应一个数据节点。

测试Hash分区算法

1.在启动的时候,两个数组点乘做运算,得到取模数。

2019_12_31a1

2.两个数组进行叉乘,得出物理分区表。

2019_12_31a2

3.根据where条件的值来落入实际分片

select * from shareding_key = 999;

先根据分片键取出999,按照公式1的计算结果除取模,然后得到的值落到2计算出来的分片中。

4.举个简单的例子:

<property name="partitionCount">2,3</property>
<property name="partitionLength">100,50</property>

根据公式1

2019_12_31a3

也就是传进来的值需要对350取模。

根据公式2,物理分区为

2019_12_31a4

999对350取模,正好是299。落在250-300这个区间里面。也就是第4个区间。

接下来我们实际来测试一下,我们在rule.xml中设置如下:

<tableRule name="rule_hash">
    <rule>
        <columns>id</columns>
        <algorithm>func_hash_test</algorithm>
    </rule>
</tableRule>

<function name="func_hash_test" class="Hash">
    <property name="partitionCount">2,3</property>
    <property name="partitionLength">100,50</property>
</function>

我们通过公式2算出有5个分片。所以在schema.xml中设置table属性如下:

<table name="hash_test" primaryKey="id" rule="rule_hash" dataNode="dn1,dn2,dn3,dn4,dn5"/>

5.创建表测试

我们先使用shell创建1000行数据,在创建表,通过load data语法将我们shell产生的文件进行导入。

for i in  {1..1000}
do
echo  $i'|name'$[i]'' >>a1.txt 
done

20191230b1
请原谅我作为一个GEEK,把桌面和终端完美结合成二次元是标配。

这里可以看到我们查询999这个数据,会自动到dn4这个分片上进行查询。再比如我们查500,500对350取模是150,150是落在第二个分区里面的。

6.另一个例子

<property name="partitionCount">2</property>
<property name="partitionLength">1000</property>

此时C _L=2_1000=2000,将对2000进行取模。

同时将划分如下的分区:

2019_12_31a5

注意事项

  1. M不能大于2880。2880的原因是这样的:2, 3, 4, 5, 6, 8, 9, 10, 12, 15, 16, 18, 20, 24, 30, 32, 36, 40, 45, 48, 60, 64, 72, 80, 90, 96, 120, 144, 160, 180, 192, 240, 288, 320, 360, 480, 576, 720, 960, 1440是2880的约数,这样预分片扩容方便。
  2. N必须要等于schema.xml中使用该分区算法的逻辑表的dataNode属性指定的DataNode数量之和,比如我们上面这个算法是5个分区,但是如果你在逻辑表的dataNode属性中设置分区个数小于5,dataNode="dn1,dn2,dn3,dn4",则dble就会报错。
    partition size : 5 > table datanode size : 4 please make sure table datanode size = function partition size
  3. $C\_n$和$L\_n$的个数必须相等。
  4. 分区字段必须为整型字段,如果是其他类型,要求值可转化为数字。
  5. 当partitionLength为1时,hash分区算法退化为求模算法,M及N均为partitionCount的值。
  6. NULL作为分片列的值的时候数据的结果恒落在0号节点(第一个节点上),建议最好不要让这种情况出现,强制设置分片键为not null。

后记

今天学习了分片算法Hash。后续将继续分享其他的算法。谢谢支持!

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
什么是 Hash 算法?
散列算法(Hash Algorithm),又称哈希算法,杂凑算法,是一种从任意文件中创造小的数字「指纹」的方法。与指纹一样,散列算法就是一种以较短的信息来保证文件唯一性的标志,这种标志与文件的每一个字节都相关,而且难以找到逆向规律。因此,当原有文件发生改变时,其标志值也会发生改变,从而告诉文件使用者当前的文件已经不是你所需求的文件。
65 0
一致 Hash 算法分析
当我们在做数据库分库分表或者是分布式缓存时,不可避免的都会遇到一个问题: 如何将数据均匀的分散到各个节点中,并且尽量的在加减节点时能使受影响的数据最少。
55 0
mysql索引(四)索引的数据结构HASH
我们常用的索引数据结构比较多的是B+TREE。 还有另一种索引数据结构是hash,但是innoDB、mysiam数据引擎不支持hash数据结构。
104 0
MySQL数据库——分组查询
分组查询的作用是将查询的结果按指定字段分组,字段中数值相等的为一组。 分组以后可以配合count()、agv()、sum()、max()等聚合函数使用。
99 0
大数据之什么是Hash表
  大数据之什么是Hash表,Hash,一般翻译做“散列”,也有直接音译为“哈希”的,它是基于快速存取的角度设计的,也是一种典型的“空间换时间”的做法。顾名思义,该数据结构可以理解为一个线性表,但是其中的元素不是紧密排列的,而是可能存在空隙。
1264 0
Ceph之数据分布:CRUSH算法与一致性Hash
转自于:http://www.cnblogs.com/shanno/p/3958298.html?utm_source=tuicool 数据分布是分布式存储系统的一个重要部分,数据分布算法至少要考虑以下三个因素: 1) 故障域隔离。
1454 0
jquery插件整理篇(九)数据验证类
1. jQuery plugin: Validation jQuery校验插件。jQuery plugin: Validation 2. Masked Input Plugin 热点图书:www.hotbook.cn Masked Input这个jQuery插件让用户能够按照预先设定好的固定格式输入数据(如日期、电话号码等)。
780 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Phoenix 全局索引原理与实践
立即下载
探究高性能的海量节点树
立即下载
低代码开发师(初级)实战教程
立即下载