数据库分片--Mycat的简单使用(下)

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 数据库分片--Mycat的简单使用(下)

二、Mycat支持的数据库


image.png


三、Mycat的分片策略


image.png


四、概念说明

1、逻辑库(schema)

前面一节讲了数据库中间件,通常对实际应用来说,并不需要知道中间件的存在,业务开发

人员只需要知道数据库的概念,所以数据库中间件可以被看做是一个或多个数据库集群构成

的逻辑库。

2、逻辑表(table)

既然有逻辑库,那么就会有逻辑表,分布式数据库中,对应用来说,读写数据的表就是逻辑

表。逻辑表,可以是数据切分后,分布在一个或多个分片库中,也可以不做数据切分,不分

片,只有一个表构成。

分片表:是指那些原有的很大数据的表,需要切分到多个数据库的表,这样,每个分片都有

一部分数据,所有分片构成了完整的数据。 总而言之就是需要进行分片的表。

非分片表:一个数据库中并不是所有的表都很大,某些表是可以不用进行切分的,非分片是

相对分片表来说的,就是那些不需要进行数据切分的表。

3、分片节点(dataNode)

数据切分后,一个大表被分到不同的分片数据库上面,每个表分片所在的数据库就是分片节

点(dataNode)。

4、节点主机(dataHost)

数据切分后,每个分片节点(dataNode)不一定都会独占一台机器,同一机器上面可以有

多个分片数据库,这样一个或多个分片节点(dataNode)所在的机器就是节点主机

(dataHost),为了规避单节点主机并发数限制,尽量将读写压力高的分片节点

(dataNode)均衡的放在不同的节点主机(dataHost)。

5、分片规则(rule)

前面讲了数据切分,一个大表被分成若干个分片表,就需要一定的规则,这样按照某种业务

规则把数据分到某个分片的规则就是分片规则,数据切分选择合适的分片规则非常重要,将

极大的避免后续数据处理的难度。


四,MyCat分片

一、需求

把商品表分片存储到三个数据节点上。

二、安装环境分析

两台mysql数据库服务器:

Host1:192.168.100.11

Host2:192.168.100.12

mysql节点1环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 :1.4 release

数据库名 : db1、db3

mysql节点2环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 :1.4 release

数据库名 : db2

MyCat安装到节点1上(需要安装jdk)

三、配置schema.xml

1、Schema.xml介绍

Schema.xml作为MyCat中重要的配置文件之一,管理着MyCat的逻辑库、表、分片规则、DataNode以及

DataSource。弄懂这些配置,是正确使用MyCat的前提。这里就一层层对该文件进行解析。

schema 标签用于定义MyCat实例中的逻辑库

Table 标签定义了MyCat中的逻辑表

dataNode 标签定义了MyCat中的数据节点,也就是我们通常说所的数据分片。

dataHost标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心

跳语句。

注意:若是LINUX版本的MYSQL,则需要设置为Mysql大小写不敏感,否则可能会发生表找不到的问题。


在MySQL的配置文件中 vi /etc/my.cnf [mysqld] 中增加一行 lower_case_table_names=1


image.png


配置后重启mysql服务 service mysqld restart


MySQL在Linux找不到表名-处理忽略大小写

http://blog.csdn.net/h254532699/article/details/54318478


2、创建数据库

在第一台服务器上创建数据库db1、db3

在第二台服务器上创建数据库db2

3、Schema.xml配置

schema中配置一个table节点

配置后重启mysql服务 service mysqld restart


<?xml version="1.0"?>

<mycat:schema xmlns:mycat=“http://org.opencloudb/”>









select user()







select user()


3、配置server.xml


server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。


4、rule.xml


rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法,或者


对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程


中可以按照需求添加tableRule


和function。


此配置文件可以不用修改,使用默认即可。


四、测试分片


1、创建表


配置完毕后,重新启动mycat:


使用mysql客户端连接mycat,创建表 tb_item 的表结构。


2、插入数据

3、分片测试

由于配置的分片规则为“auto-sharding-long”,所以mycat会根据此规则自动分片。

每个datanode中保存一定数量的数据。根据id进行分片


经测试id范围为:


Datanode1:1~5000000


Datanode2:5000000~10000000


Datanode3:10000001~15000000


当15000000以上的id插入时报错:


[Err] 1064 - can’t find any valid datanode :TB_ITEM -> ID -> 15000001

此时需要添加节点了。


论文参考:https://blog.csdn.net/qq_35152037/article/details/79681762


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
6月前
|
存储 缓存 NoSQL
关于数据库分片我们需要知道的
本文探讨了数据库分片的解决方案,强调了数据库分片在数据存储规模增长时的实用性。分片是将数据分布到多台机器上的技术,通过横向扩展和纵向扩展实现。文章还详细介绍了数据库分片的四种主要实现方式:什么都不做、垂直扩展、复制和专用数据库。每种方式都有其优点和限制,例如,垂直扩展可能需要更多的硬件资源,而复制可以提高读取性能,但可能需要更多的存储空间。最终,选择数据库分片方案应根据问题的复杂性和资源可用性来决定。
112 1
关于数据库分片我们需要知道的
|
14天前
|
存储 中间件 关系型数据库
数据库切片大对决:ShardingSphere与Mycat技术解析
数据库切片大对决:ShardingSphere与Mycat技术解析
23 0
|
6月前
|
存储 SQL 关系型数据库
数据库魔法师:使用ShardingSphere实现MySQL读写分离与分片指南跟着爆叔的节奏稳了!
数据库魔法师:使用ShardingSphere实现MySQL读写分离与分片指南跟着爆叔的节奏稳了!
64 0
|
14天前
|
存储 人工智能 架构师
数据库架构模式:分片
本文介绍了数据库分片的概念,以及各自的使用场景,分片可提升可扩展性、性能和高可用性。
|
9月前
|
存储 负载均衡 容灾
MySQL数据库的分布式架构和数据分片方案
MySQL数据库的分布式架构和数据分片方案
|
5月前
|
SQL Oracle 关系型数据库
数据库系列课程(02)-MyCat读写分离
数据库系列课程(02)-MyCat读写分离
42 0
|
4月前
|
自然语言处理 搜索推荐 算法
数据库-Elasticsearch进阶学习笔记(分片、映射、分词器、即时搜索、全文搜索等)
数据库-Elasticsearch进阶学习笔记(分片、映射、分词器、即时搜索、全文搜索等)
142 0
|
5月前
|
算法 数据库
数据库系列课程(06)-MyCat分片按省操作数据库例子
数据库系列课程(06)-MyCat分片按省操作数据库例子
23 0
|
5月前
|
算法 数据库 索引
数据库系列课程(05)-MyCat分库分表策略
数据库系列课程(05)-MyCat分库分表策略
38 0
|
5月前
|
Linux 网络安全 数据库
数据库系列课程(03)-Linux环境MyCat的安装与配置
数据库系列课程(03)-Linux环境MyCat的安装与配置
74 0

热门文章

最新文章