Mycat的简单使用(一)【初了解】

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
日志服务 SLS,月写入数据量 50GB 1个月
简介: Mycat的简单使用(一)【初了解】

数据库准备


使用docker安装两个数据库


创建数据库配置文件


1、在root目录下创建db1和db2文件夹,然后再在这两个目录下分别创建my.cnf文件


mkdir db1
mkdir db1
touch my.cnf

1.png

2、Master(db1目录下的my.cnf)配置文件如下:


[mysqld]
## 同一局域网内注意要唯一
server-id=100  
## 开启二进制日志功能,可以随便取(关键)
log-bin=mysql-bin

3、Slave(db2目录下的my.cnf)配置文件如下:


[mysqld]
## 设置server_id,注意要唯一
server-id=101  
## 开启二进制日志功能,以备Slave作为其它Slave的Master时使用
log-bin=mysql-slave-bin
## relay_log配置中继日志
relay_log=edu-mysql-relay-bin 

拉取镜像并创建数据库


docker pull mysql:5.7


查看命令:docker images

1.png


docker run --name db1 -p 3316:3306 -v /root/db1/my.cnf:/etc/mysql/my.cnf -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7


docker run --name db1 -p 3316:3306 -v /root/db1/my.cnf:/etc/mysql/my.cnf -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7
docker run --name db2 -p 3326:3306 -v /root/db2/my.cnf:/etc/mysql/my.cnf -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

查看命令:docker ps -a

1.png


配置主从复制


1、通过docker exec -it db1 /bin/bash命令进入到Master容器内部:


docker exec -it db1 /bin/bash

2、并且登录上数据库:


mysql -uroot -p123456 

1.png


3、执行mysql客户端执行如下脚本:


CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';

1.png

4、在Master进入mysql,执行show master status;


show master status;

1.png


File和Position字段的值后面将会用到,在后面的操作完成之前,需要保证Master库不能做任何操作,否则将会引起状态变化,File和Position字段的值变化。


5、退出master数据库,回到宿主机执行docker命令查看两个容器的ip


docker inspect --format '{{ .NetworkSettings.IPAddress }}'  db1
docker inspect --format '{{ .NetworkSettings.IPAddress }}'  db2
mysql> exit
Bye
root@7b6f62c49a21:/# exit
exit
[root@bogon ~]# docker inspect --format '{{ .NetworkSettings.IPAddress }}'  db1
172.17.0.2
[root@bogon ~]# docker inspect --format '{{ .NetworkSettings.IPAddress }}'  db2
172.17.0.3
[root@bogon ~]# 

1.png

6、在Slave 中进入 mysql,执行:

注意:master_host、master_log_file、master_log_pos都需要是上面查询出来的,不一定和我的一样。


change master to master_host='172.17.0.2',  master_user='slave', master_password='123456', master_port=3306,  master_log_file='mysql-bin.000003', master_log_pos= 617,  master_connect_retry=30;

1.png


命令说明:

master_host :Master的地址,指的是容器的独立ip,可以通过如下命令查询容器的ip

docker inspect --format=’{{.NetworkSettings.IPAddress}}’ 容器名称|容器id

Copy to clipboardErrorCopied

master_port:Master的端口号,指的是容器的端口号

master_user:用于数据同步的用户

master_password:用于同步的用户的密码

master_log_file:指定 Slave 从哪个日志文件开始复制数据,即上文中提到的 File 字段的值

master_log_pos:从哪个 Position 开始读,即上文中提到的 Position 字段的值

master_connect_retry:如果连接失败,重试的时间间隔,单位是秒,默认是60秒


7、在Slave 中的mysql终端执行show slave status \G;用于查看主从同步状态。

1.png


8、正常情况下,SlaveIORunning 和 SlaveSQLRunning 都是No,因为我们还没有开启主从复制过程。使用start slave;开启主从复制过程,然后再次查询主从同步状态show slave status \G;。

1.png2.png




测试主从复制


测试主从复制方式就十分多了,最简单的是在Master创建一个数据库,然后检查Slave是否存在此数据库。


1、再打开一个虚拟机,进入到Master(db1):

1.png2.png



2、这个是Slaver(db2)的数据库:

3.png

3、在Master(db1)中创建一个数据库:


create database testdb;

1.png

4、在Slaver(db2)中查看:

1.png


到此证明主从复制配置正确。


在宿主机上安装mysql客户端,测试连通性


yum install -y mysql
mysql -uroot -p123456 -h 172.17.0.2 -P 3306
mysql -uroot -p123456 -h 172.17.0.3 -P 3306

没有安装过mysql客户端的,先执行第一条语句安装,我装过了,就不演示了。


-h 后面的容器的ip是上面查到了,不是说都是这样的。

1.png



Mycat安装启动


Mycat使用Java编写,所以需要提前安装jdk,安装jdk课一看我的另外一篇博客:学妹跑过来抱着我的胳膊让我帮她在Linux上装jdk【手把手教学】【需要提前下载jdk】


安装jdk


1、我们也可以利用华为云镜像直接下载jdk

我一般放在 /opt目录下:


#切换目录
cd /opt
#下载
wget https://repo.huaweicloud.com/java/jdk/8u192-b12/jdk-8u192-linux-x64.tar.gz
#解压
tar -zxvf jdk-8u201-linux-x64.tar.gz

1.png

2、创建符号连接统一管理(可选),以后有新版本,只要更改这个连接就可以了:


ln -s /opt/jdk1.8.0_192  /usr/jdk


3、修改环境变量:


vi /etc/profile


在末尾添加如下内容:

JAVA_HOME=/usr/jdk
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

4、使配置生效:


source /etc/profile

5、检查是否安装成功:


java -version

1.png

下载解压Mycat


1、切换到/opt目录,使用wget 下载压缩包


#切换目录
cd /opt/
#下载
wget http://dl.mycat.org.cn/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
#查看
ll |grep My
#解压
tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz 
#查看
ll

1.png


文件复制


1、将解压后的目录copy到 /usr/local目录中(在opt目录下操作)


cp -r mycat/ /usr/local/
ls /usr/local/

2、查看mycat目录及mycat的配置文件目录


cd /usr/local/mycat/
ls
cd conf/
ls

1.png


其中主要的几个配置文件如下:

server.xml:是Mycat服务器参数调整和用户授权的配置文件。

schema.xml:是逻辑库定义和表以及分片定义的配置文件。

rule.xml: 是分片规则的配置文件,分片规则的具体一些参数信息单独存放为文件,也在这个目录下,配置文件修改需要重启MyCAT。

log4j.xml: 日志存放在logs/log中,每天一个文件,日志的配置是在conf/log4j.xml中,根据自己的需要可以调整输出级别为debug

debug级别下,会输出更多的信息,方便排查问题。

autopartition-long.txt,partition-hash-int.txt,sequence_conf.properties, sequence_db_conf.properties 分片相关的id分片规则配置文件

lib MyCAT自身的jar包或依赖的jar包的存放目录。

logs MyCAT日志的存放目录。日志存放在logs/log中,每天一个文件


配置


1、需要安装jdk,修改jdk环境,即编辑/usr/local/mycat/conf/wrapper.conf


 vi /usr/local/mycat/conf/wrapper.conf 

配合java命令绝对路径


wrapper.java.command=/opt/jdk1.8.0_291/bin/java

1.png


修改server.xml


vi server.xml

完整的配置文件如下:


<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
    - you may not use this file except in compliance with the License. - You 
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
    - - Unless required by applicable law or agreed to in writing, software - 
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
    License for the specific language governing permissions and - limitations 
    under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
    <property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
    <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->
        <property name="sequnceHandlerType">2</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
    <!-- <property name="processorBufferChunk">40960</property> -->
    <!-- 
    <property name="processors">1</property> 
    <property name="processorExecutor">32</property> 
     -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
        <property name="processorBufferPoolType">0</property>
        <!--默认是65535 64K 用于sql解析时最大文本长度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="sequnceHandlerType">0</property>-->
        <!--<property name="backSocketNoDelay">1</property>-->
        <!--<property name="frontSocketNoDelay">1</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!--
            <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
        <!--分布式事务开关,0为不过滤分布式事务,1为过滤分布式事务(如果分布式事务内只涉及全局表,则不过滤),2为不过滤分布式事务,但是记录分布式事务日志-->
        <property name="handleDistributedTransactions">0</property>
            <!--
            off heap for merge/order/group/limit      1开启   0关闭
        -->
        <property name="useOffHeapForMerge">1</property>
        <!--
            单位为m
        -->
        <property name="memoryPageSize">1m</property>
        <!--
            单位为k
        -->
        <property name="spillsFileBufferSize">1k</property>
        <property name="useStreamOutput">0</property>
        <!--
            单位为m
        -->
        <property name="systemReserveMemorySize">384m</property>
        <!--是否采用zookeeper协调切换  -->
        <property name="useZKSwitch">true</property>
    </system>
    <!-- 全局SQL防火墙设置 -->
    <!-- 
    <firewall> 
       <whitehost>
          <host host="127.0.0.1" user="mycat"/>
          <host host="127.0.0.2" user="mycat"/>
       </whitehost>
       <blacklist check="false">
       </blacklist>
    </firewall>
    -->
    <user name="mycat">
        <property name="password">123456</property>
        <property name="schemas">TESTDB</property>
        <!-- 表级 DML 权限设置 -->
        <!--         
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>        
         -->
    </user>
    <user name="user">
        <property name="password">user</property>
        <property name="schemas">TESTDB</property>
        <property name="readOnly">true</property>
    </user>
</mycat:server>

修改schema.xml


vi schema.xml 

修改dataNode、dataHost


完整的配置文件如下:


<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
    </schema>
    <dataNode name="dn1" dataHost="host1" database="testdb" />
    <dataHost name="host1" maxCon="1000" minCon="10" balance="2"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!--can have multi write hosts -->
        <writeHost host="hostM1" url="172.17.0.2:3306" user="root"   password="123456">
            <!-- can have multi read hosts -->
            <readHost host="hostS1" url="172.17.0.3:3306" user="root" password="123456" />
        </writeHost>
    </dataHost>
</mycat:schema>

启动


到mycat/bin目录执行shell脚本

控制台启动 ./mycat console

后台启动 ./mycat start


cd /usr/local/mycat/bin
pwd
ls
./mycat 
./mycat console

1.png


[root@bogon opt]# cd /usr/local/mycat/bin
[root@bogon bin]# pwd
/usr/local/mycat/bin
[root@bogon bin]# ls
dataMigrate.sh  init_zk_data.sh  mycat  rehash.sh  startup_nowrap.sh  wrapper-linux-ppc-64  wrapper-linux-x86-32  wrapper-linux-x86-64
[root@bogon bin]# ./mycat 
Usage: ./mycat { console | start | stop | restart | status | dump }
[root@bogon bin]# ./mycat console
Running Mycat-server...
wrapper  | --> Wrapper Started as Console
wrapper  | Launching a JVM...
jvm 1    | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
jvm 1    | Wrapper (Version 3.2.3) http://wrapper.tanukisoftware.org
jvm 1    |   Copyright 1999-2006 Tanuki Software, Inc.  All Rights Reserved.
jvm 1    | 
jvm 1    | 2021-06-16 18:06:19,874 [INFO ][WrapperSimpleAppMain] total resouces of dataHost host1 is :2  (io.mycat.backend.datasource.PhysicalDBPool:PhysicalDBPool.java:100) 
jvm 1    | 2021-06-16 18:06:19,897 [INFO ][WrapperSimpleAppMain] create layer cache pool TableID2DataNodeCache of type encache ,default cache size 10000 ,default expire seconds18000  (io.mycat.cache.CacheService:CacheService.java:125) 
jvm 1    | 2021-06-16 18:06:19,914 [INFO ][WrapperSimpleAppMain] create child Cache: TESTDB_ORDERS for layered cache TableID2DataNodeCache, size 50000, expire seconds 18000  (io.mycat.cache.DefaultLayedCachePool:DefaultLayedCachePool.java:80) 
jvm 1    | 2021-06-16 18:06:35,102 [INFO ][WrapperSimpleAppMain] dyna class load from ./catlet,and auto check for class file modified every 60 seconds  (io.mycat.config.classloader.DynaClassLoader:DynaClassLoader.java:34) 
jvm 1    | 2021-06-16 18:06:35,103 [INFO ][WrapperSimpleAppMain] ===============================================  (io.mycat.MycatServer:MycatServer.java:266) 
jvm 1    | 2021-06-16 18:06:35,104 [INFO ][WrapperSimpleAppMain] MyCat is ready to startup ...  (io.mycat.MycatServer:MycatServer.java:267) 
jvm 1    | 2021-06-16 18:06:35,105 [INFO ][WrapperSimpleAppMain] Startup processors ...,total processors:4,aio thread pool size:8    

超时错误解决办法


显示上面这样就是启动成功了,有时可能会出现超时的错误:


wrapper | Startup failed: Timed out waiting for signal from JVM.

解决办法:


cd /usr/local/mycat/conf
vi wrapper.conf

在wrapper.conf最下方添加:


wrapper.ping.timeout=120
wrapper.startup.timeout=300

1.png


Mycat登录


登录后台管理窗口


使用9066端口登录后台管理窗口,此登录方式用于管理维护Mycat


mysql -umycat -p123456 -h 127.0.0.1 -P 9066

1.png


查看常用的命令


show @@help;

1.png


登录数据访问窗口


使用8066端口访问数据。


mysql -umycat -p123456 -h 127.0.0.1 -P 8066
show databases;

1.png

由于篇幅已经挺长了,就写一篇 Mycat的简单使用(二)【主从读写】继续介绍


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
存储 Oracle 前端开发
MyCat-简介-MyCat 的使用场合及下载 | 学习笔记
快速学习 MyCat-简介-MyCat 的使用场合及下载
MyCat-简介-MyCat 的使用场合及下载 | 学习笔记
|
SQL 运维 监控
MyCat - 高级 - MyCat-Web 介绍及安装配置 | 学习笔记
快速学习 MyCat - 高级 - MyCat-Web 介绍及安装配置
MyCat - 高级 - MyCat-Web 介绍及安装配置 | 学习笔记
|
SQL 存储 关系型数据库
04MyCat - MyCat概述
04MyCat - MyCat概述
107 0
|
XML 负载均衡 关系型数据库
Mycat中间件配置初探与入门操作
Mycat中间件配置初探与入门操作
103 10
|
存储 缓存 负载均衡
MyCat是干什么的?具体如何使用?底层原理是什么?
MyCat是干什么的?具体如何使用?底层原理是什么?
360 0
|
SQL 开发框架 负载均衡
YII2.0使用MyCat有什么作用?底层原理是什么?
YII2.0使用MyCat有什么作用?底层原理是什么?
185 0
|
存储 NoSQL 安全
MyCat-简介-MyCat 引入 | 学习笔记
快速学习 MyCat-简介-MyCat 引入
MyCat-简介-MyCat 引入 | 学习笔记
|
存储 SQL NoSQL
MyCat 的基本介绍及安装
MyCat 的基本介绍及安装1、前置知识 1、分布式系统 ​ 分布式系统是指其组件分布在网络上,组件之间通过传递消息进行通信和动作协调的系统。它的核心理念是让多台服务器协同工作,完成单台服务器无法处理的任务,尤其是高并发或者大数据量的额任务。它的特点是: ​ **透明性:**分布式系统对于用户是透明的,一个分布式系统在用户面前的表现就像一个传统的单处理机分时系统,可用用户不必了解其内部结构就能使用; ​ **扩展性:**分布式系统的最大特点是可扩展性,它能够根据需求的增加而扩展,可以通过横向扩展使集群的整体性能得到线性提升,也可以通过纵向扩展单台服务器的性能使服务器集群的性能得到提升;
250 0
MyCat 的基本介绍及安装
|
存储 Java 中间件
MyCat-入门-环境搭建-MyCat 安装 | 学习笔记
快速学习 MyCat-入门-环境搭建-MyCat 安装
MyCat-入门-环境搭建-MyCat 安装 | 学习笔记
|
SQL 存储 缓存
MyCat-入门-原理介绍 | 学习笔记
快速学习 MyCat-入门-原理介绍
MyCat-入门-原理介绍 | 学习笔记