Mysql系列-5.Mysql分库分表(中):https://developer.aliyun.com/article/1414299
枚举分片
1). 介绍
通过在配置文件中配置可能的枚举值, 指定数据分布到不同数据节点上, 本规则适用于按照省份、性别、状态拆分数据等业务 。
2). 配置
schema.xml中逻辑表配置:
<!-- 枚举 --> <table name="tb_user" dataNode="dn4,dn5,dn6" rule="sharding-by-intfile-enumstatus"/>
schema.xml中数据节点配置:
<dataNode name="dn4" dataHost="dhost1" database="itcast" /> <dataNode name="dn5" dataHost="dhost2" database="itcast" /> <dataNode name="dn6" dataHost="dhost3" database="itcast" />
rule.xml中分片规则配置:
<!-- 自己增加 tableRule --> <tableRule name="sharding-by-intfile-enumstatus"> <rule> <columns>status</columns> <algorithm>hash-int</algorithm> </rule> </tableRule> <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap"> <property name="defaultNode">2</property> <property name="mapFile">partition-hash-int.txt</property> </function>
partition-hash-int.txt ,内容如下 :
1=0 2=1 3=2
分片规则属性含义:
属性 | 描述 |
columns | 标识将要分片的表字段 |
algorithm | 指定分片函数与function的对应关系 |
class | 指定该分片算法对应的类 |
mapFile | 对应的外部配置文件 |
type | 默认值为0 ; 0 表示Integer , 1 表示String |
defaultNode | 默认节点 ; 小于0 标识不设置默认节点 , 大于等于0代表设置默认节点 ;默认节点的所用:枚举分片时,如果碰到不识别的枚举值, 就让它路由到默认节点 ; 如果没有默认值,碰到不识别的则报错 。 |
3). 测试
配置完毕后,重新启动MyCat,然后在mycat的命令行中,执行如下SQL创建表、并插入数据,查看数据分布情况。
CREATE TABLE tb_user ( id bigint(20) NOT NULL COMMENT 'ID', username varchar(200) DEFAULT NULL COMMENT '姓名', status int(2) DEFAULT '1' COMMENT '1: 未启用, 2: 已启用, 3: 已关闭', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; insert into tb_user (id,username ,status) values(1,'Tom',1); insert into tb_user (id,username ,status) values(2,'Cat',2); insert into tb_user (id,username ,status) values(3,'Rose',3); insert into tb_user (id,username ,status) values(4,'Coco',2); insert into tb_user (id,username ,status) values(5,'Lily',1); insert into tb_user (id,username ,status) values(6,'Tom',1); insert into tb_user (id,username ,status) values(7,'Cat',2); insert into tb_user (id,username ,status) values(8,'Rose',3); insert into tb_user (id,username ,status) values(9,'Coco',2); insert into tb_user (id,username ,status) values(10,'Lily',1);
应用指定算法
1). 介绍
运行阶段由应用自主决定路由到那个分片 , 直接根据字符子串(必须是数字)计算分片号。
2). 配置
schema.xml中逻辑表配置:
<!-- 应用指定算法 --> <table name="tb_app" dataNode="dn4,dn5,dn6" rule="sharding-by-substring" />
schema.xml中数据节点配置:
<dataNode name="dn4" dataHost="dhost1" database="itcast" /> <dataNode name="dn5" dataHost="dhost2" database="itcast" /> <dataNode name="dn6" dataHost="dhost3" database="itcast" />
rule.xml中分片规则配置:
<tableRule name="sharding-by-substring"> <rule> <columns>id</columns> <algorithm>sharding-by-substring</algorithm> </rule> </tableRule> <function name="sharding-by-substring" class="io.mycat.route.function.PartitionDirectBySubString"> <property name="startIndex">0</property> <!-- zero-based --> <property name="size">2</property> <property name="partitionCount">3</property> <property name="defaultPartition">0</property> </function>
分片规则属性含义:
属性 | 描述 |
columns | 标识将要分片的表字段 |
algorithm | 指定分片函数与function的对应关系 |
class | 指定该分片算法对应的类 |
startIndex | 字符子串起始索引 |
size | 字符长度 |
partitionCount | 分区(分片)数量 |
defaultPartition | 默认分片(在分片数量定义时, 字符标示的分片编号不在分片数量内时,使用默认分片) |
示例说明 :
id=05-100000002 , 在此配置中代表根据id中从 startIndex=0,开始,截取siz=2位数字即05,05就是获取的分区,如果没找到对应的分片则默认分配到defaultPartition 。
3). 测试
配置完毕后,重新启动MyCat,然后在mycat的命令行中,执行如下SQL创建表、并插入数据,查看数据分布情况。
CREATE TABLE tb_app ( id varchar(10) NOT NULL COMMENT 'ID', name varchar(200) DEFAULT NULL COMMENT '名称', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; insert into tb_app (id,name) values('0000001','Testx00001'); insert into tb_app (id,name) values('0100001','Test100001'); insert into tb_app (id,name) values('0100002','Test200001'); insert into tb_app (id,name) values('0200001','Test300001'); insert into tb_app (id,name) values('0200002','TesT400001');
固定分片hash算法
1). 介绍
该算法类似于十进制的求模运算,但是为二进制的操作,例如,取 id 的二进制低 10 位 与1111111111 进行位 & 运算,位与运算最小值为 0000000000,最大值为1111111111,转换为十进制,也就是位于0-1023之间。
特点:
- 如果是求模,连续的值,分别分配到各个不同的分片;但是此算法会将连续的值可能分配到相同的分片,降低事务处理的难度。
- 可以均匀分配,也可以非均匀分配。
- 分片字段必须为数字类型。
2). 配置
schema.xml中逻辑表配置:
<!-- 固定分片hash算法 --> <table name="tb_longhash" dataNode="dn4,dn5,dn6" rule="sharding-by-long-hash" />
schema.xml中数据节点配置:
<dataNode name="dn4" dataHost="dhost1" database="itcast" /> <dataNode name="dn5" dataHost="dhost2" database="itcast" /> <dataNode name="dn6" dataHost="dhost3" database="itcast" />
rule.xml中分片规则配置:
<tableRule name="sharding-by-long-hash"> <rule> <columns>id</columns> <algorithm>sharding-by-long-hash</algorithm> </rule> </tableRule> <!-- 分片总长度为1024,count与length数组长度必须一致; --> <function name="sharding-by-long-hash" class="io.mycat.route.function.PartitionByLong"> <property name="partitionCount">2,1</property> <property name="partitionLength">256,512</property> </function>
分片规则属性含义:
属性 | 描述 |
columns | 标识将要分片的表字段名 |
algorithm | 指定分片函数与function的对应关系 |
class | 指定该分片算法对应的类 |
partitionCount | 分片个数列表 |
partitionLength | 分片范围列表 |
约束 :
1). 分片长度 : 默认最大2^10 , 为 1024 ;
2). count, length的数组长度必须是一致的 ;
以上分为三个分区:0-255,256-511,512-1023
示例说明 :
3). 测试
配置完毕后,重新启动MyCat,然后在mycat的命令行中,执行如下SQL创建表、并插入数据,查看数据分布情况。
CREATE TABLE tb_longhash ( id int(11) NOT NULL COMMENT 'ID', name varchar(200) DEFAULT NULL COMMENT '名称', firstChar char(1) COMMENT '首字母', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; insert into tb_longhash (id,name,firstChar) values(1,'七匹狼','Q'); insert into tb_longhash (id,name,firstChar) values(2,'八匹狼','B'); insert into tb_longhash (id,name,firstChar) values(3,'九匹狼','J'); insert into tb_longhash (id,name,firstChar) values(4,'十匹狼','S'); insert into tb_longhash (id,name,firstChar) values(5,'六匹狼','L'); insert into tb_longhash (id,name,firstChar) values(6,'五匹狼','W'); insert into tb_longhash (id,name,firstChar) values(7,'四匹狼','S'); insert into tb_longhash (id,name,firstChar) values(8,'三匹狼','S'); insert into tb_longhash (id,name,firstChar) values(9,'两匹狼','L');
字符串hash解析算法
1). 介绍
截取字符串中的指定位置的子字符串, 进行hash算法, 算出分片。
2). 配置
schema.xml中逻辑表配置:
<!-- 字符串hash解析算法 --> <table name="tb_strhash" dataNode="dn4,dn5" rule="sharding-by-stringhash" />
schema.xml中数据节点配置:
<dataNode name="dn4" dataHost="dhost1" database="itcast" /> <dataNode name="dn5" dataHost="dhost2" database="itcast" />
rule.xml中分片规则配置:
<tableRule name="sharding-by-stringhash"> <rule> <columns>name</columns> <algorithm>sharding-by-stringhash</algorithm> </rule> </tableRule> <function name="sharding-by-stringhash" class="io.mycat.route.function.PartitionByString"> <property name="partitionLength">512</property> <!-- zero-based --> <property name="partitionCount">2</property> <property name="hashSlice">0:2</property> </function>
分片规则属性含义:
属性 | 描述 |
columns | 标识将要分片的表字段 |
algorithm | 指定分片函数与function的对应关系 |
class | 指定该分片算法对应的类 |
partitionLength | hash求模基数 ; length*count=1024 (出于性能考虑) |
partitionCount | 分区数 |
ashSlice | hash运算位 , 根据子字符串的hash运算 ; 0 代表 str.length(), -1 代表 str.length()-1 , 大于0只代表数字自身 ; 可以理解为substring(start,end),start为0则只表示0 |
示例说明:
3). 测试
配置完毕后,重新启动MyCat,然后在mycat的命令行中,执行如下SQL创建表、并插入数据,查看数据分布情况。
create table tb_strhash( name varchar(20) primary key, content varchar(100) )engine=InnoDB DEFAULT CHARSET=utf8mb4; INSERT INTO tb_strhash (name,content) VALUES('T1001', UUID()); INSERT INTO tb_strhash (name,content) VALUES('ROSE', UUID()); INSERT INTO tb_strhash (name,content) VALUES('JERRY', UUID()); INSERT INTO tb_strhash (name,content) VALUES('CRISTINA', UUID()); INSERT INTO tb_strhash (name,content) VALUES('TOMCAT', UUID());
按天分片算法
1). 介绍
按照日期及对应的时间周期来分片。
2). 配置
schema.xml中逻辑表配置:
<!-- 按天分片 --> <table name="tb_datepart" dataNode="dn4,dn5,dn6" rule="sharding-by-date" />
schema.xml中数据节点配置:
<dataNode name="dn4" dataHost="dhost1" database="itcast" /> <dataNode name="dn5" dataHost="dhost2" database="itcast" /> <dataNode name="dn6" dataHost="dhost3" database="itcast" />
rule.xml中分片规则配置:
<tableRule name="sharding-by-date"> <rule> <columns>create_time</columns> <algorithm>sharding-by-date</algorithm> </rule> </tableRule> <function name="sharding-by-date" class="io.mycat.route.function.PartitionByDate"> <property name="dateFormat">yyyy-MM-dd</property> <property name="sBeginDate">2022-01-01</property> <property name="sEndDate">2022-01-30</property> <property name="sPartionDay">10</property> </function> <!-- 从开始时间开始,每10天为一个分片,到达结束时间之后,会重复开始分片插入 配置表的 dataNode 的分片,必须和分片规则数量一致,例如 2022-01-01 到 2022-12-31 ,每 10天一个分片,一共需要37个分片。 -->
分片规则属性含义:
属性 | 描述 |
columns | 标识将要分片的表字段 |
algorithm | 指定分片函数与function的对应关系 |
class | 指定该分片算法对应的类 |
dateFormat | 日期格式 |
sBeginDate | 开始日期 |
sEndDate | 结束日期,如果配置了结束日期,则代码数据到达了这个日期的分片后,会重复从开始分片插入 |
sPartionDay | 分区天数,默认值 10 ,从开始日期算起,每个10天一个分区 |
3). 测试
配置完毕后,重新启动MyCat,然后在mycat的命令行中,执行如下SQL创建表、并插入数据,查看数据分布情况。
create table tb_datepart( id bigint not null comment 'ID' primary key, name varchar(100) null comment '姓名', create_time date null ); insert into tb_datepart(id,name ,create_time) values(1,'Tom','2022-01-01'); insert into tb_datepart(id,name ,create_time) values(2,'Cat','2022-01-10'); insert into tb_datepart(id,name ,create_time) values(3,'Rose','2022-01-11'); insert into tb_datepart(id,name ,create_time) values(4,'Coco','2022-01-20'); insert into tb_datepart(id,name ,create_time) values(5,'Rose2','2022-01-21'); insert into tb_datepart(id,name ,create_time) values(6,'Coco2','2022-01-30'); insert into tb_datepart(id,name ,create_time) values(7,'Coco3','2022-01-31');
自然月分片
1). 介绍
使用场景为按照月份来分片, 每个自然月为一个分片。
2). 配置
schema.xml中逻辑表配置:
<!-- 按自然月分片 --> <table name="tb_monthpart" dataNode="dn4,dn5,dn6" rule="sharding-by-month" />
schema.xml中数据节点配置:
<dataNode name="dn4" dataHost="dhost1" database="itcast" /> <dataNode name="dn5" dataHost="dhost2" database="itcast" /> <dataNode name="dn6" dataHost="dhost3" database="itcast" />
rule.xml中分片规则配置:
<tableRule name="sharding-by-month"> <rule> <columns>create_time</columns> <algorithm>partbymonth</algorithm> </rule> </tableRule> <function name="partbymonth" class="io.mycat.route.function.PartitionByMonth"> <property name="dateFormat">yyyy-MM-dd</property> <property name="sBeginDate">2022-01-01</property> <property name="sEndDate">2022-03-31</property> </function> <!-- 从开始时间开始,一个月为一个分片,到达结束时间之后,会重复开始分片插入 配置表的 dataNode 的分片,必须和分片规则数量一致,例如 2022-01-01 到 2022-12-31 ,一 共需要12个分片。 -->
分片规则属性含义:
属性 | 描述 |
columns | 标识将要分片的表字段 |
algorithm | 指定分片函数与function的对应关系 |
class | 指定该分片算法对应的类 |
dateFormat | 日期格式 |
sBeginDate | 开始日期 |
sEndDate | 结束日期,如果配置了结束日期,则代码数据到达了这个日期的分片后,会重复从开始分片插入 |
3). 测试
配置完毕后,重新启动MyCat,然后在mycat的命令行中,执行如下SQL创建表、并插入数据,查看数据分布情况。
create table tb_monthpart( id bigint not null comment 'ID' primary key, name varchar(100) null comment '姓名', create_time date null ); insert into tb_monthpart(id,name ,create_time) values(1,'Tom','2022-01-01'); insert into tb_monthpart(id,name ,create_time) values(2,'Cat','2022-01-10'); insert into tb_monthpart(id,name ,create_time) values(3,'Rose','2022-01-31'); insert into tb_monthpart(id,name ,create_time) values(4,'Coco','2022-02-20'); insert into tb_monthpart(id,name ,create_time) values(5,'Rose2','2022-02-25'); insert into tb_monthpart(id,name ,create_time) values(6,'Coco2','2022-03-10'); insert into tb_monthpart(id,name ,create_time) values(7,'Coco3','2022-03-31'); insert into tb_monthpart(id,name ,create_time) values(8,'Coco4','2022-04-10'); insert into tb_monthpart(id,name ,create_time) values(9,'Coco5','2022-04-30');
MyCat管理及监控
MyCat原理
在MyCat中,当执行一条SQL语句时,MyCat需要进行SQL解析、分片分析、路由分析、读写分离分析等操作,最终经过一系列的分析决定将当前的SQL语句到底路由到那几个(或哪一个)节点数据库,数据库将数据执行完毕后,如果有返回的结果,则将结果返回给MyCat,最终还需要在MyCat中进行结果合并、聚合处理、排序处理、分页处理等操作,最终再将结果返回给客户端。
而在MyCat的使用过程中,MyCat官方也提供了一个管理监控平台MyCat-Web(MyCat-eye)。Mycat-web 是 Mycat 可视化运维的管理和监控平台,弥补了 Mycat 在监控上的空白。帮 Mycat分担统计任务和配置管理任务。Mycat-web 引入了 ZooKeeper 作为配置中心,可以管理多个节点。Mycat-web 主要管理和监控 Mycat 的流量、连接、活动线程和内存等,具备 IP 白名单、邮件告警等模块,还可以统计 SQL 并分析慢 SQL 和高频 SQL 等。为优化 SQL 提供依据。
MyCat管理
Mycat默认开通2个端口,可以在server.xml中进行修改。
- 8066 数据访问端口,即进行 DML 和 DDL 操作。
- 9066 数据库管理端口,即 mycat 服务管理控制功能,用于管理mycat的整个集群状态
连接MyCat的管理控制台:
mysql -h 192.168.200.210 -p 9066 -uroot -p123456
命令 | 含义 |
show @@help | 查看Mycat管理工具帮助文档 |
show @@version | 查看Mycat的版本 |
reload @@config | 重新加载Mycat的配置文件 |
show @@datasource | 查看Mycat的数据源信息 |
show @@datanode | 查看MyCat现有的分片节点信息 |
show @@threadpool | 查看Mycat的线程池信息 |
show @@sql | 查看执行的SQL |
show @@sql.sum | 查看执行的SQL统计 |
MyCat-eye
介绍
Mycat-web(Mycat-eye)是对mycat-server提供监控服务,功能不局限于对mycat-server使用。他通过JDBC连接对Mycat、Mysql监控,监控远程服务器(目前仅限于linux系统)的cpu、内存、网络、磁盘。
Mycat-eye运行过程中需要依赖zookeeper,因此需要先安装zookeeper。
安装
1). zookeeper安装
2). Mycat-web安装
访问
http://192.168.200.210:8082/mycat
配置
1). 开启MyCat的实时统计功能(server.xml)
<property name="useSqlStat">1</property> <!-- 1为开启实时统计、0为关闭 -->
2). 在Mycat监控界面配置服务地址
测试
配置好了之后,我们可以通过MyCat执行一系列的增删改查的测试,然后过一段时间之后,打开mycat-eye的管理界面,查看mycat-eye监控到的数据信息。
A. 性能监控
B. 物理节点
C. SQL统计
D. SQL表分析
E. SQL监控
F. 高频SQL