深入浅出MySQL(九)一看就懂的基于MYCAT的数据库分表分库案例

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 深入浅出MySQL(九)一看就懂的基于MYCAT的数据库分表分库案例

MyCat的介绍


关于mycat的基础理论知识可以去看看以下文章


blog.csdn.net/wrs120/arti…


MyCat的安装使用


首先我们需要在指定路径下进行mycat的安装。


[root@idea-centos mycat]# wget http://dl.mycat.io/Mycat-server-1.4-beta-20150604171601-linux.tar.gz
复制代码


下载相应的mycat压缩包后进行解压操作:


tar -zxvf Mycat-server-1.4-beta-20150604171601-linux.tar.gz
复制代码


在环境变量里面添加相应的mycat路径:


vim /etc/profile
export MYCAT_HOME=/opt/mycat/mycat
export PATH=$PATH:$MYCAT_HOME/bin 
sh $MYCAT_HOME/bin/mycat start  设置mycat开机自动启动
复制代码


然后刷新配置文件,会看到这样的界面:


网络异常,图片无法展示
|


然后我们进入到mycat里面的conf目录底下,会看到相应的xml配置文件。


网络异常,图片无法展示
|


为了能够让Mycat正常工作,还要对Mycat进行一些配置,主要配置的文件有schema.xml,server.xml,rule.xml这个三个文件,其中rule.xml主要是配置规则的,我们直接使用默认的配置文件就行了。所以只配置另外两个配置文件,为了方便以后的使用,我们备份原来的配置文件。


网络异常,图片无法展示
|


  • 两张表users和item,三个数据库db01,db02,db03(三个库在一个数据库实例上)
  • users只在db01中存储。
  • item表被分割到db02和db03中存储。


在db01上边创建users表


create database db01 if not exists db01;
    use db01;
     CREATE TABLE users ( 
        id INT NOT NULL AUTO_INCREMENT, 
        name varchar(50) NOT NULL default '', 
        indate DATETIME NOT NULL default '0000-00-00 00:00:00', 
        PRIMARY KEY (id) 
    )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8; 
复制代码


在db02和db03中分别创建item表,SQL脚本如下


create database db02 if not exists db02;
use db02;
 CREATE TABLE item ( 
    id INT NOT NULL AUTO_INCREMENT, 
    value INT NOT NULL default 0, 
    indate DATETIME NOT NULL default '0000-00-00 00:00:00', 
    PRIMARY KEY (id) 
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
复制代码


创建db03


create database db03 if not exists db03;
    use db03;
    CREATE TABLE item ( 
        id INT NOT NULL AUTO_INCREMENT, 
        value INT NOT NULL default 0, 
        indate DATETIME NOT NULL default '0000-00-00 00:00:00', 
        PRIMARY KEY (id) 
    )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
复制代码


这个时候我们需要进行着三个文件的配置了。


service.xml


该xml里面主要是配置mycat的登录账号


<?xml version="1.0" encoding="UTF-8"?> 
<!DOCTYPE mycat:server SYSTEM "server.dtd"> 
<mycat:server xmlns:mycat="http://io.mycat/"> 
        <system> 
            <!--  
                <property name="processors">32</property> 
                <property name="processorExecutor">32</property>  
                <property name="bindIp">0.0.0.0</property>  
                <property name="frontWriteQueueSize">4096</property> 
                <property name="idleTimeout">300000</property> 
                <property name="mutiNodePatchSize">100</property> 
            --> 
                <property name="defaultSqlParser">druidparser</property> 
                <property name="mutiNodeLimitType">1</property> 
                <property name="serverPort">8066</property> 
                <property name="managerPort">9066</property>  
        </system> 
        <!-- 任意设置登陆 mycat 的用户名,密码,数据库  --> 
        <user name="test"> 
                <property name="password">test</property> 
                <property name="schemas">TESTDB</property> 
        </user> 
        <user name="user"> 
                <property name="password">user</property> 
                <property name="schemas">TESTDB</property> 
                <property name="readOnly">true</property> 
        </user> 
        <!--  
        <quarantine>  
           <whitehost> 
              <host host="127.0.0.1" user="mycat"/> 
              <host host="127.0.0.2" user="mycat"/> 
           </whitehost> 
       <blacklist check="false"></blacklist> 
        </quarantine> 
        --> 
</mycat:server> 
复制代码


Role.xml


该文件主要定义了分片的规则,这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule和function


tableRule标签:


<tableRule name="auto-sharding-long">
    <rule>
        <columns>id</columns>
        <algorithm>rang-long</algorithm>
    </rule>
</tableRule>
复制代码


  • name:用户标识不同的分表规则
  • columns:指定按哪一列进行拆分
  • algorithm:该属性值为下面function标签中name的属性值,定义了连接表规则的具体的路由算法,多个表规则可以连接到同一个路由算法


function标签:


<function name="rang-long"
    class="org.opencloudb.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
</function>
复制代码


  • name:标识算法的名字
  • class:指定路由算法具体的类名字
  • property:具体算法用到的一些属性


接着上边的案例我们继续配置role.xml文件


<?xml version="1.0" encoding="UTF-8"?>
        <!-- - - Licensed under the Apache License, Version 2.0 (the "License");
            - you may not use this file except in compliance with the License. - You
            may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
            - - Unless required by applicable law or agreed to in writing, software -
            distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
            WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
            License for the specific language governing permissions and - limitations
            under the License. -->
        <!DOCTYPE mycat:rule SYSTEM "rule.dtd">
        <mycat:rule xmlns:mycat="http://io.mycat/">
            <tableRule name="role1">
                <rule>
                    <columns>id</columns>
                    <algorithm>mod-long</algorithm>
                </rule>
            </tableRule>
            <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
                <!-- how many data nodes -->
                <property name="count">2</property>
            </function>
        </mycat:rule>
复制代码


schema.xml


该文件是MyCat中重要的配置文件之一,管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource


schema.xml 数据库的url,usename,password按实际情况填写。


<?xml version="1.0"?> 
<!DOCTYPE mycat:schema SYSTEM "schema.dtd"> 
<mycat:schema xmlns:mycat="http://io.mycat/"> 
    <!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致  --> 
    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"> 
        <table name="users" primaryKey="id"  dataNode="node_db01" /> 
        <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="role1" /> 
    </schema> 
    <!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost --> 
    <dataNode name="node_db01" dataHost="dataHost01" database="db01" /> 
    <dataNode name="node_db02" dataHost="dataHost01" database="db02" /> 
    <dataNode name="node_db03" dataHost="dataHost01" database="db03" /> 
    <!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 ,注意writeHost 标签要闭合!--> 
    <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> 
            <heartbeat>select user()</heartbeat> 
            <writeHost host="server1" url="192.168.43.138:3306" user="root" password="123456"/> 
    </dataHost> 
</mycat:schema>
复制代码


  • schema标签:定义mycat实例中的逻辑库
  • table标签:定义mycat实例中的逻辑表
  • dataNode标签:定义mycat中的数据节点,也是通常说的数据分片
  • dataHost标签:作为最底层标签存在,定义了具体的真正存放数据的数据库实例,读写分离配置和心跳语句,我这只用来一台主键,所以只配了一个dataHost,如果你配了N个主机,就要配N个dataHost节点


这里附上一张超级详细的介绍图


网络异常,图片无法展示
|


然后我们通过bin文件夹下的mycat start命令启动mycat,相应的日志文件在log文件夹底下可以看到:


网络异常,图片无法展示
|


启动成功后,可以通过navicat(低版本navicat不支持)进行一个远程连接。链接成功后如下图所示


网络异常,图片无法展示
|


这个时候不妨自己试着往数据库里插入一些数据进行试验


insert into users(name,indate) values(‘kk’,now());

insert into users(name,indate) values(‘ss’,now());

insert into item(id,value,indate) values(1,100,now());

insert into item(id,value,indate) values(2,100,now());

…(插入多条item数据信息)


通过观察,会发现相应的users数据被插入到了db01库的users表里面


网络异常,图片无法展示
|


而相应的items数据会被mycat根据路由规则mod-long自动分配在db2和db3数据库里面。


网络异常,图片无法展示
|


网络异常,图片无法展示
|


再结合上篇我之前文章所讲解的主从同步配置,那么整体结构就会被成如下图所示:


网络异常,图片无法展示
|


参考文献:

blog.csdn.net/wrs120/arti…

www.cnblogs.com/mracale/p/8…

blog.csdn.net/wrs120/arti…

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
4天前
|
存储 Java 关系型数据库
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践,包括连接创建、分配、复用和释放等操作,并通过电商应用实例展示了如何选择合适的连接池库(如HikariCP)和配置参数,实现高效、稳定的数据库连接管理。
15 2
|
5天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
37 2
|
8天前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
38 4
|
9天前
|
存储 数据挖掘 数据库
数据库数据恢复—SQLserver数据库ndf文件大小变为0KB的数据恢复案例
一个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成一个NDF文件,每个NDF几百GB大小。数据库包含两个LDF文件。 存储损坏,数据库不可用。管理员试图恢复数据库,发现有数个ndf文件大小变为0KB。 虽然NDF文件大小变为0KB,但是NDF文件在磁盘上还可能存在。可以尝试通过扫描&拼接数据库碎片来恢复NDF文件,然后修复数据库。
|
9天前
|
关系型数据库 MySQL 数据库
一个 MySQL 数据库死锁的案例和解决方案
本文介绍了一个 MySQL 数据库死锁的案例和解决方案。
16 3
|
12天前
|
存储 Oracle 关系型数据库
数据库数据恢复—Oracle ASM磁盘组故障数据恢复案例
Oracle数据库数据恢复环境&故障: Oracle ASM磁盘组由4块磁盘组成。Oracle ASM磁盘组掉线 ,ASM实例不能mount。 Oracle数据库故障分析&恢复方案: 数据库数据恢复工程师对组成ASM磁盘组的磁盘进行分析。对ASM元数据进行分析发现ASM存储元数据损坏,导致磁盘组无法挂载。
|
3天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
17 0
|
4天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第26天】数据库作为现代应用系统的核心组件,其性能优化至关重要。本文主要探讨MySQL的索引策略与查询性能调优。通过合理创建索引(如B-Tree、复合索引)和优化查询语句(如使用EXPLAIN、优化分页查询),可以显著提升数据库的响应速度和稳定性。实践中还需定期审查慢查询日志,持续优化性能。
24 0
|
13天前
|
存储 监控 关系型数据库
MySQL并发控制与管理:优化数据库性能的关键
【10月更文挑战第17天】MySQL并发控制与管理:优化数据库性能的关键
55 0
|
13天前
|
存储 SQL 关系型数据库
MySQL Workbench支持哪些数据库引擎
【10月更文挑战第17天】MySQL Workbench支持哪些数据库引擎
11 0