MyCat - 分片 - 分片规则 - 字符串 hash 解析算法 | 学习笔记

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 快速学习 MyCat - 分片 - 分片规则 - 字符串 hash 解析算法

开发者学堂课程【全面讲解开源数据库中间件MyCat使用及原理(二):MyCat - 分片 - 分片规则 - 字符串 hash 解析算法】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/756/detail/13273


MyCat - 分片 - 分片规则 - 字符串 hash 解析算法

内容介绍

一.配置

二.配置说明

三.演示 hash 字符串解析算法进行分片

四.原理

 

一.配置

截取字符串中的指定位置的子字符串(即只会截取一个字符串中的一段),进行 hash 算法,算出其 hash 值后,再通过一定的计算,算出分片,配置如下:

<tableRule name=”sharding-by-stringhash>

<rule>

<columns>user_id(//指定分片对象) </columns>

<algorithm>sharding-by-stringhash(//指定分片算法)</algorithm>

</rule>

</tableRule>

//首先,有一个 tableRule 来制定它的分片规则

<function name=”sharding-by-stringhash”class=”io.mycat.route.function.PartitionByString>

<property name=partitionlength>512</property><!-- zero-based-->(//分片处理类)

<property name=”partitionCount”>2</property>

<property name=”hashSlice>0:2(代表子字符串所截的范围)<property>

</function>

 

二.配置说明:

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与 function 的对应关系

class

指定该分片算法对应的类

partitionLength

hash 求模基数; length*count=1024(主要出于性能考虑

partitionCount

分区数

hashSlice

hash 运算位,根据子字符串的 hash 运算; 0 代表 str.length(), -1 代表 str.length()-1,大于 0 只代表数字自身;可以理解为 substring( start ,end) , start 为 0 则只表示 0

 

三.演示 hash 字符串解析算法进行分片

1. 首先,我们需要先配置一个逻辑表

将下面的代码复制

<table name=”tb_strhash”dataNode=”dn1,dn2,dn3”rule=”sharding-by-stringhash”/>

我们需要在此编码当中配置一个逻辑表,如下图所示。

由于此次演示只需要两个分片,因此将 ”dn1,dn2,dn3,” 改为 ”dn1,dn2”

更改是因为上方的代码  “<property name=”partitionCount”>2</property>”

中 Count 为2。只会使用两个分片

image.png

2.然后,我们需要在这里配置一下分片规则。

image.png

如图所示,由于配置规则在 Mycat 文件当中并没有事先声明,因此我们需要手动配置

然后需要在下方声明一个 <function>

此 <function>  即上方配置:

<function name=”sharding-by-stringhash”class=”io.mycat.route.function.PartitionByString>

<property name=partitionlength>512</property><!-- zero-based-->(//分片处理类)

<property name=”partitionCount”>2</property>

<property name=”hashSlice>0:2(代表子字符串所截的范围)<property>

</function>

其中的 512,2 代表此次的分片数量,0:2 代表此次子字符串所截的范围

image.png

接下来需要将上图所示的 user_id 改为 name (此次我们需要根据 name 字段进行分片)

配置好之后,我们就可以重启 Mycat ,执行 Mycat 的重启动。 Mycat 重启完成之后,我们将它关闭,然后再次连接 1,2,3,4,5,6。

接着,在 mysq1> 后输入 use PARTITION_DB; 按回车键后输入 show tables; 回车后得到 hash 表(如图所示)

image.png

3.接下来,需要创建一个表结构

创建表

Create table tb_strhash(

name varchar(20) primary key,

Content varchar(100)

)engine=InnoDB DEFAULT CHARSET=utf8mb4;

4.需要在表中插入数据

插入数据

INSERT INTO tb_strhash (name,content) VALUES (‘T1001’,UUID());

INSERT INTO tb_strhash (name,content) VALUES (‘ROSE’,UUID());

INSERT INTO tb_strhash (name,content) VALUES (‘JERRY’,UUID());

INSERT INTO tb_strhash (name,content) VALUES (‘CRISTINA’,UUID());

INSERT INTO tb_strhash (name,content) VALUES (‘TOMCAT’,UUID());

UUID 为 Count 的值;T1001,ROSE,JERRY,CRISTINA,TOMCAT 即为 name

插入的数据不可能在第三个截点,因为我们所配置的截点的数量为2,且所配置的为 dn1,dn2。

数据的计算方法:

截取 name 中的字符串来进行 hash 运算,然后进行位于运算

 

四.原理

当我们使用分片字符串- hash 解析算法进行分片,它在进行初始化的时候,会初始化出一个数组(如下图所示)。这个数组的长度是从 0 到 1023,一共 1024 个数,那么,前面 512 个数均为 0,后面 512 个数均为 1。

image.png

<property name=”partitionlength”>512</property><!-- zero-based--> <property name=”partitionCount”>2</property>

上方的这段代码决定了数字中的 512 和 2

计算数据的位置原理:

当出现一个字符串时,它会此先进行截取,截取从 0 到 2 这个位 置,然后进行一个 hash 运算。假如 hash 运算的结果为 1728192 6 (1024-1)(如上图所示)。

接下来,它将进行一个位于运算,位于的即为(1024-1),计算的结果将位于 0 到1023 之间。

计算出的结果就会拿到这个索引(1024-1),再到这个数组当中取出对应的值。假如计算结果为 510,拿到的就是 0,那么就会在第一个分片上;假如计算结果为980,拿到的就是 1,那么就会出现在第二个分片上。

相关文章
|
6天前
|
负载均衡 算法 Java
Spring Cloud全解析:负载均衡算法
本文介绍了负载均衡的两种方式:集中式负载均衡和进程内负载均衡,以及常见的负载均衡算法,包括轮询、随机、源地址哈希、加权轮询、加权随机和最小连接数等方法,帮助读者更好地理解和应用负载均衡技术。
|
3天前
|
JavaScript
js 解析 byte数组 成字符串
js 解析 byte数组 成字符串
|
12天前
|
机器学习/深度学习 数据采集 存储
一文读懂蒙特卡洛算法:从概率模拟到机器学习模型优化的全方位解析
蒙特卡洛方法起源于1945年科学家斯坦尼斯劳·乌拉姆对纸牌游戏中概率问题的思考,与约翰·冯·诺依曼共同奠定了该方法的理论基础。该方法通过模拟大量随机场景来近似复杂问题的解,因命名灵感源自蒙特卡洛赌场。如今,蒙特卡洛方法广泛应用于机器学习领域,尤其在超参数调优、贝叶斯滤波等方面表现出色。通过随机采样超参数空间,蒙特卡洛方法能够高效地找到优质组合,适用于处理高维度、非线性问题。本文通过实例展示了蒙特卡洛方法在估算圆周率π和优化机器学习模型中的应用,并对比了其与网格搜索方法的性能。
88 1
|
20天前
|
算法 JavaScript 前端开发
国标非对称加密:RSA算法、非对称特征、js还原、jsencrypt和rsa模块解析
国标非对称加密:RSA算法、非对称特征、js还原、jsencrypt和rsa模块解析
91 1
|
21天前
|
缓存 算法 前端开发
深入理解缓存淘汰策略:LRU和LFU算法的解析与应用
【8月更文挑战第25天】在计算机科学领域,高效管理资源对于提升系统性能至关重要。内存缓存作为一种加速数据读取的有效方法,其管理策略直接影响整体性能。本文重点介绍两种常用的缓存淘汰算法:LRU(最近最少使用)和LFU(最不经常使用)。LRU算法依据数据最近是否被访问来进行淘汰决策;而LFU算法则根据数据的访问频率做出判断。这两种算法各有特点,适用于不同的应用场景。通过深入分析这两种算法的原理、实现方式及适用场景,本文旨在帮助开发者更好地理解缓存管理机制,从而在实际应用中作出更合理的选择,有效提升系统性能和用户体验。
46 1
|
26天前
|
JavaScript 算法 前端开发
"揭秘Vue.js的高效渲染秘诀:深度解析Diff算法如何让前端开发快人一步"
【8月更文挑战第20天】Vue.js是一款备受欢迎的前端框架,以其声明式的响应式数据绑定和组件化开发著称。在Vue中,Diff算法是核心之一,它高效计算虚拟DOM更新时所需的最小实际DOM变更,确保界面快速准确更新。算法通过比较新旧虚拟DOM树的同层级节点,递归检查子节点,并利用`key`属性优化列表更新。虽然存在局限性,如难以处理跨层级节点移动,但Diff算法仍是Vue高效更新机制的关键,帮助开发者构建高性能Web应用。
38 1
|
14天前
|
存储 关系型数据库 MySQL
|
25天前
|
索引 容器
容器镜像解析问题之获取 Image 的 ConfigFile 的 hash 值如何解决
容器镜像解析问题之获取 Image 的 ConfigFile 的 hash 值如何解决
9 0
|
10天前
|
算法 BI Serverless
基于鱼群算法的散热片形状优化matlab仿真
本研究利用浴盆曲线模拟空隙外形,并通过鱼群算法(FSA)优化浴盆曲线参数,以获得最佳孔隙度值及对应的R值。FSA通过模拟鱼群的聚群、避障和觅食行为,实现高效全局搜索。具体步骤包括初始化鱼群、计算适应度值、更新位置及判断终止条件。最终确定散热片的最佳形状参数。仿真结果显示该方法能显著提高优化效率。相关代码使用MATLAB 2022a实现。
|
10天前
|
算法 数据可视化
基于SSA奇异谱分析算法的时间序列趋势线提取matlab仿真
奇异谱分析(SSA)是一种基于奇异值分解(SVD)和轨迹矩阵的非线性、非参数时间序列分析方法,适用于提取趋势、周期性和噪声成分。本项目使用MATLAB 2022a版本实现从强干扰序列中提取趋势线,并通过可视化展示了原时间序列与提取的趋势分量。代码实现了滑动窗口下的奇异值分解和分组重构,适用于非线性和非平稳时间序列分析。此方法在气候变化、金融市场和生物医学信号处理等领域有广泛应用。

推荐镜像

更多