深入浅出MySQL(九)一看就懂的基于MYCAT的数据库分表分库案例

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 深入浅出MySQL(九)一看就懂的基于MYCAT的数据库分表分库案例

MyCat的介绍


关于mycat的基础理论知识可以去看看以下文章


blog.csdn.net/wrs120/arti…


MyCat的安装使用


首先我们需要在指定路径下进行mycat的安装。


[root@idea-centos mycat]# wget http://dl.mycat.io/Mycat-server-1.4-beta-20150604171601-linux.tar.gz
复制代码


下载相应的mycat压缩包后进行解压操作:


tar -zxvf Mycat-server-1.4-beta-20150604171601-linux.tar.gz
复制代码


在环境变量里面添加相应的mycat路径:


vim /etc/profile
export MYCAT_HOME=/opt/mycat/mycat
export PATH=$PATH:$MYCAT_HOME/bin 
sh $MYCAT_HOME/bin/mycat start  设置mycat开机自动启动
复制代码


然后刷新配置文件,会看到这样的界面:


网络异常,图片无法展示
|


然后我们进入到mycat里面的conf目录底下,会看到相应的xml配置文件。


网络异常,图片无法展示
|


为了能够让Mycat正常工作,还要对Mycat进行一些配置,主要配置的文件有schema.xml,server.xml,rule.xml这个三个文件,其中rule.xml主要是配置规则的,我们直接使用默认的配置文件就行了。所以只配置另外两个配置文件,为了方便以后的使用,我们备份原来的配置文件。


网络异常,图片无法展示
|


  • 两张表users和item,三个数据库db01,db02,db03(三个库在一个数据库实例上)
  • users只在db01中存储。
  • item表被分割到db02和db03中存储。


在db01上边创建users表


create database db01 if not exists db01;
    use db01;
     CREATE TABLE users ( 
        id INT NOT NULL AUTO_INCREMENT, 
        name varchar(50) NOT NULL default '', 
        indate DATETIME NOT NULL default '0000-00-00 00:00:00', 
        PRIMARY KEY (id) 
    )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8; 
复制代码


在db02和db03中分别创建item表,SQL脚本如下


create database db02 if not exists db02;
use db02;
 CREATE TABLE item ( 
    id INT NOT NULL AUTO_INCREMENT, 
    value INT NOT NULL default 0, 
    indate DATETIME NOT NULL default '0000-00-00 00:00:00', 
    PRIMARY KEY (id) 
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
复制代码


创建db03


create database db03 if not exists db03;
    use db03;
    CREATE TABLE item ( 
        id INT NOT NULL AUTO_INCREMENT, 
        value INT NOT NULL default 0, 
        indate DATETIME NOT NULL default '0000-00-00 00:00:00', 
        PRIMARY KEY (id) 
    )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
复制代码


这个时候我们需要进行着三个文件的配置了。


service.xml


该xml里面主要是配置mycat的登录账号


<?xml version="1.0" encoding="UTF-8"?> 
<!DOCTYPE mycat:server SYSTEM "server.dtd"> 
<mycat:server xmlns:mycat="http://io.mycat/"> 
        <system> 
            <!--  
                <property name="processors">32</property> 
                <property name="processorExecutor">32</property>  
                <property name="bindIp">0.0.0.0</property>  
                <property name="frontWriteQueueSize">4096</property> 
                <property name="idleTimeout">300000</property> 
                <property name="mutiNodePatchSize">100</property> 
            --> 
                <property name="defaultSqlParser">druidparser</property> 
                <property name="mutiNodeLimitType">1</property> 
                <property name="serverPort">8066</property> 
                <property name="managerPort">9066</property>  
        </system> 
        <!-- 任意设置登陆 mycat 的用户名,密码,数据库  --> 
        <user name="test"> 
                <property name="password">test</property> 
                <property name="schemas">TESTDB</property> 
        </user> 
        <user name="user"> 
                <property name="password">user</property> 
                <property name="schemas">TESTDB</property> 
                <property name="readOnly">true</property> 
        </user> 
        <!--  
        <quarantine>  
           <whitehost> 
              <host host="127.0.0.1" user="mycat"/> 
              <host host="127.0.0.2" user="mycat"/> 
           </whitehost> 
       <blacklist check="false"></blacklist> 
        </quarantine> 
        --> 
</mycat:server> 
复制代码


Role.xml


该文件主要定义了分片的规则,这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule和function


tableRule标签:


<tableRule name="auto-sharding-long">
    <rule>
        <columns>id</columns>
        <algorithm>rang-long</algorithm>
    </rule>
</tableRule>
复制代码


  • name:用户标识不同的分表规则
  • columns:指定按哪一列进行拆分
  • algorithm:该属性值为下面function标签中name的属性值,定义了连接表规则的具体的路由算法,多个表规则可以连接到同一个路由算法


function标签:


<function name="rang-long"
    class="org.opencloudb.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
</function>
复制代码


  • name:标识算法的名字
  • class:指定路由算法具体的类名字
  • property:具体算法用到的一些属性


接着上边的案例我们继续配置role.xml文件


<?xml version="1.0" encoding="UTF-8"?>
        <!-- - - Licensed under the Apache License, Version 2.0 (the "License");
            - you may not use this file except in compliance with the License. - You
            may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
            - - Unless required by applicable law or agreed to in writing, software -
            distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
            WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
            License for the specific language governing permissions and - limitations
            under the License. -->
        <!DOCTYPE mycat:rule SYSTEM "rule.dtd">
        <mycat:rule xmlns:mycat="http://io.mycat/">
            <tableRule name="role1">
                <rule>
                    <columns>id</columns>
                    <algorithm>mod-long</algorithm>
                </rule>
            </tableRule>
            <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
                <!-- how many data nodes -->
                <property name="count">2</property>
            </function>
        </mycat:rule>
复制代码


schema.xml


该文件是MyCat中重要的配置文件之一,管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource


schema.xml 数据库的url,usename,password按实际情况填写。


<?xml version="1.0"?> 
<!DOCTYPE mycat:schema SYSTEM "schema.dtd"> 
<mycat:schema xmlns:mycat="http://io.mycat/"> 
    <!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致  --> 
    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"> 
        <table name="users" primaryKey="id"  dataNode="node_db01" /> 
        <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="role1" /> 
    </schema> 
    <!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost --> 
    <dataNode name="node_db01" dataHost="dataHost01" database="db01" /> 
    <dataNode name="node_db02" dataHost="dataHost01" database="db02" /> 
    <dataNode name="node_db03" dataHost="dataHost01" database="db03" /> 
    <!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 ,注意writeHost 标签要闭合!--> 
    <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> 
            <heartbeat>select user()</heartbeat> 
            <writeHost host="server1" url="192.168.43.138:3306" user="root" password="123456"/> 
    </dataHost> 
</mycat:schema>
复制代码


  • schema标签:定义mycat实例中的逻辑库
  • table标签:定义mycat实例中的逻辑表
  • dataNode标签:定义mycat中的数据节点,也是通常说的数据分片
  • dataHost标签:作为最底层标签存在,定义了具体的真正存放数据的数据库实例,读写分离配置和心跳语句,我这只用来一台主键,所以只配了一个dataHost,如果你配了N个主机,就要配N个dataHost节点


这里附上一张超级详细的介绍图


网络异常,图片无法展示
|


然后我们通过bin文件夹下的mycat start命令启动mycat,相应的日志文件在log文件夹底下可以看到:


网络异常,图片无法展示
|


启动成功后,可以通过navicat(低版本navicat不支持)进行一个远程连接。链接成功后如下图所示


网络异常,图片无法展示
|


这个时候不妨自己试着往数据库里插入一些数据进行试验


insert into users(name,indate) values(‘kk’,now());

insert into users(name,indate) values(‘ss’,now());

insert into item(id,value,indate) values(1,100,now());

insert into item(id,value,indate) values(2,100,now());

…(插入多条item数据信息)


通过观察,会发现相应的users数据被插入到了db01库的users表里面


网络异常,图片无法展示
|


而相应的items数据会被mycat根据路由规则mod-long自动分配在db2和db3数据库里面。


网络异常,图片无法展示
|


网络异常,图片无法展示
|


再结合上篇我之前文章所讲解的主从同步配置,那么整体结构就会被成如下图所示:


网络异常,图片无法展示
|


参考文献:

blog.csdn.net/wrs120/arti…

www.cnblogs.com/mracale/p/8…

blog.csdn.net/wrs120/arti…

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
2月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
128 3
|
2月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
2月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
|
2月前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
2月前
|
SQL 关系型数据库 MySQL
Mysql数据恢复—Mysql数据库delete删除后数据恢复案例
本地服务器,操作系统为windows server。服务器上部署mysql单实例,innodb引擎,独立表空间。未进行数据库备份,未开启binlog。 人为误操作使用Delete命令删除数据时未添加where子句,导致全表数据被删除。删除后未对该表进行任何操作。需要恢复误删除的数据。 在本案例中的mysql数据库未进行备份,也未开启binlog日志,无法直接还原数据库。
|
2月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
|
2月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
3月前
|
存储 运维 关系型数据库
从MySQL到云数据库,数据库迁移真的有必要吗?
本文探讨了企业在业务增长背景下,是否应从 MySQL 迁移至云数据库的决策问题。分析了 MySQL 的优势与瓶颈,对比了云数据库在存储计算分离、自动化运维、多负载支持等方面的优势,并提出判断迁移必要性的五个关键问题及实施路径,帮助企业理性决策并落地迁移方案。
|
2月前
|
Ubuntu 安全 关系型数据库
安装与配置MySQL 8 on Ubuntu,包括权限授予、数据库备份及远程连接指南
以上步骤提供了在Ubuntu上从头开始设置、配置、授权、备份及恢复一个基础但完整的MySQL环境所需知识点。
399 7
|
2月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(上)
最终建议:当前系统是完美的读密集型负载模型,优化重点应放在减少行读取量和提高数据定位效率。通过索引优化、分区策略和内存缓存,预期可降低30%的CPU负载,同时保持100%的缓冲池命中率。建议每百万次查询后刷新统计信息以持续优化
213 6

热门文章

最新文章

推荐镜像

更多
下一篇
oss云网关配置