数据库分片--Mycat的简单使用(下)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 数据库分片--Mycat的简单使用(下)

二、Mycat支持的数据库


image.png


三、Mycat的分片策略


image.png


四、概念说明

1、逻辑库(schema)

前面一节讲了数据库中间件,通常对实际应用来说,并不需要知道中间件的存在,业务开发

人员只需要知道数据库的概念,所以数据库中间件可以被看做是一个或多个数据库集群构成

的逻辑库。

2、逻辑表(table)

既然有逻辑库,那么就会有逻辑表,分布式数据库中,对应用来说,读写数据的表就是逻辑

表。逻辑表,可以是数据切分后,分布在一个或多个分片库中,也可以不做数据切分,不分

片,只有一个表构成。

分片表:是指那些原有的很大数据的表,需要切分到多个数据库的表,这样,每个分片都有

一部分数据,所有分片构成了完整的数据。 总而言之就是需要进行分片的表。

非分片表:一个数据库中并不是所有的表都很大,某些表是可以不用进行切分的,非分片是

相对分片表来说的,就是那些不需要进行数据切分的表。

3、分片节点(dataNode)

数据切分后,一个大表被分到不同的分片数据库上面,每个表分片所在的数据库就是分片节

点(dataNode)。

4、节点主机(dataHost)

数据切分后,每个分片节点(dataNode)不一定都会独占一台机器,同一机器上面可以有

多个分片数据库,这样一个或多个分片节点(dataNode)所在的机器就是节点主机

(dataHost),为了规避单节点主机并发数限制,尽量将读写压力高的分片节点

(dataNode)均衡的放在不同的节点主机(dataHost)。

5、分片规则(rule)

前面讲了数据切分,一个大表被分成若干个分片表,就需要一定的规则,这样按照某种业务

规则把数据分到某个分片的规则就是分片规则,数据切分选择合适的分片规则非常重要,将

极大的避免后续数据处理的难度。


四,MyCat分片

一、需求

把商品表分片存储到三个数据节点上。

二、安装环境分析

两台mysql数据库服务器:

Host1:192.168.100.11

Host2:192.168.100.12

mysql节点1环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 :1.4 release

数据库名 : db1、db3

mysql节点2环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 :1.4 release

数据库名 : db2

MyCat安装到节点1上(需要安装jdk)

三、配置schema.xml

1、Schema.xml介绍

Schema.xml作为MyCat中重要的配置文件之一,管理着MyCat的逻辑库、表、分片规则、DataNode以及

DataSource。弄懂这些配置,是正确使用MyCat的前提。这里就一层层对该文件进行解析。

schema 标签用于定义MyCat实例中的逻辑库

Table 标签定义了MyCat中的逻辑表

dataNode 标签定义了MyCat中的数据节点,也就是我们通常说所的数据分片。

dataHost标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心

跳语句。

注意:若是LINUX版本的MYSQL,则需要设置为Mysql大小写不敏感,否则可能会发生表找不到的问题。


在MySQL的配置文件中 vi /etc/my.cnf [mysqld] 中增加一行 lower_case_table_names=1


image.png


配置后重启mysql服务 service mysqld restart


MySQL在Linux找不到表名-处理忽略大小写

http://blog.csdn.net/h254532699/article/details/54318478


2、创建数据库

在第一台服务器上创建数据库db1、db3

在第二台服务器上创建数据库db2

3、Schema.xml配置

schema中配置一个table节点

配置后重启mysql服务 service mysqld restart


<?xml version="1.0"?>

<mycat:schema xmlns:mycat=“http://org.opencloudb/”>









select user()







select user()


3、配置server.xml


server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。


4、rule.xml


rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法,或者


对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程


中可以按照需求添加tableRule


和function。


此配置文件可以不用修改,使用默认即可。


四、测试分片


1、创建表


配置完毕后,重新启动mycat:


使用mysql客户端连接mycat,创建表 tb_item 的表结构。


2、插入数据

3、分片测试

由于配置的分片规则为“auto-sharding-long”,所以mycat会根据此规则自动分片。

每个datanode中保存一定数量的数据。根据id进行分片


经测试id范围为:


Datanode1:1~5000000


Datanode2:5000000~10000000


Datanode3:10000001~15000000


当15000000以上的id插入时报错:


[Err] 1064 - can’t find any valid datanode :TB_ITEM -> ID -> 15000001

此时需要添加节点了。


论文参考:https://blog.csdn.net/qq_35152037/article/details/79681762


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
存储 缓存 NoSQL
关于数据库分片我们需要知道的
本文探讨了数据库分片的解决方案,强调了数据库分片在数据存储规模增长时的实用性。分片是将数据分布到多台机器上的技术,通过横向扩展和纵向扩展实现。文章还详细介绍了数据库分片的四种主要实现方式:什么都不做、垂直扩展、复制和专用数据库。每种方式都有其优点和限制,例如,垂直扩展可能需要更多的硬件资源,而复制可以提高读取性能,但可能需要更多的存储空间。最终,选择数据库分片方案应根据问题的复杂性和资源可用性来决定。
183 1
关于数据库分片我们需要知道的
|
存储 SQL 关系型数据库
数据库魔法师:使用ShardingSphere实现MySQL读写分离与分片指南跟着爆叔的节奏稳了!
数据库魔法师:使用ShardingSphere实现MySQL读写分离与分片指南跟着爆叔的节奏稳了!
132 0
|
6月前
|
存储 中间件 关系型数据库
数据库切片大对决:ShardingSphere与Mycat技术解析
数据库切片大对决:ShardingSphere与Mycat技术解析
528 0
|
3月前
|
存储 负载均衡 安全
高效管理大型数据库:分片与复制的策略与实践
在当今数据驱动的世界中,管理和优化大型数据库系统是每个企业的关键任务。特别是在面对数据量迅速增长的情况下,如何确保系统的高可用性和性能成为重要挑战。本文探讨了两种核心技术——分片(Sharding)和复制(Replication),以及它们在实际应用中的策略与实践。通过对比这两种技术的优缺点,并结合具体案例分析,本文旨在为数据库管理员和开发者提供一套高效管理大型数据库的综合方案。
|
4月前
|
存储 负载均衡 定位技术
现代数据库系统中的数据分片策略与优化
数据分片在现代数据库系统中扮演着关键角色,特别是在面对海量数据和高并发访问的情况下。本文探讨了数据分片的基本概念、常见的分片策略(如水平分片与垂直分片)、以及如何通过优化和选择合适的分片策略来提升数据库系统的性能和可扩展性。
|
6月前
|
存储 SQL 关系型数据库
关系型数据库分区与分片
关系型数据库分区与分片
82 1
|
SQL Oracle 关系型数据库
数据库系列课程(02)-MyCat读写分离
数据库系列课程(02)-MyCat读写分离
79 0
|
关系型数据库 MySQL Linux
24MyCat - 全局序列号(数据库方式)
24MyCat - 全局序列号(数据库方式)
40 0
|
算法 数据库
数据库系列课程(06)-MyCat分片按省操作数据库例子
数据库系列课程(06)-MyCat分片按省操作数据库例子
44 0
|
算法 数据库 索引
数据库系列课程(05)-MyCat分库分表策略
数据库系列课程(05)-MyCat分库分表策略
71 0
下一篇
无影云桌面