数据库准备
使用docker安装两个数据库
创建数据库配置文件
1、在root目录下创建db1和db2文件夹,然后再在这两个目录下分别创建my.cnf文件
mkdir db1 mkdir db1 touch my.cnf
2、Master(db1目录下的my.cnf)配置文件如下:
[mysqld] ## 同一局域网内注意要唯一 server-id=100 ## 开启二进制日志功能,可以随便取(关键) log-bin=mysql-bin
3、Slave(db2目录下的my.cnf)配置文件如下:
[mysqld] ## 设置server_id,注意要唯一 server-id=101 ## 开启二进制日志功能,以备Slave作为其它Slave的Master时使用 log-bin=mysql-slave-bin ## relay_log配置中继日志 relay_log=edu-mysql-relay-bin
拉取镜像并创建数据库
docker pull mysql:5.7
查看命令:docker images
docker run --name db1 -p 3316:3306 -v /root/db1/my.cnf:/etc/mysql/my.cnf -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7
docker run --name db1 -p 3316:3306 -v /root/db1/my.cnf:/etc/mysql/my.cnf -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7 docker run --name db2 -p 3326:3306 -v /root/db2/my.cnf:/etc/mysql/my.cnf -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7
查看命令:docker ps -a
配置主从复制
1、通过docker exec -it db1 /bin/bash命令进入到Master容器内部:
docker exec -it db1 /bin/bash
2、并且登录上数据库:
mysql -uroot -p123456
3、执行mysql客户端执行如下脚本:
CREATE USER 'slave'@'%' IDENTIFIED BY '123456'; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';
4、在Master进入mysql,执行show master status;
show master status;
File和Position字段的值后面将会用到,在后面的操作完成之前,需要保证Master库不能做任何操作,否则将会引起状态变化,File和Position字段的值变化。
5、退出master数据库,回到宿主机执行docker命令查看两个容器的ip
docker inspect --format '{{ .NetworkSettings.IPAddress }}' db1 docker inspect --format '{{ .NetworkSettings.IPAddress }}' db2
mysql> exit Bye root@7b6f62c49a21:/# exit exit [root@bogon ~]# docker inspect --format '{{ .NetworkSettings.IPAddress }}' db1 172.17.0.2 [root@bogon ~]# docker inspect --format '{{ .NetworkSettings.IPAddress }}' db2 172.17.0.3 [root@bogon ~]#
6、在Slave 中进入 mysql,执行:
注意:master_host、master_log_file、master_log_pos都需要是上面查询出来的,不一定和我的一样。
change master to master_host='172.17.0.2', master_user='slave', master_password='123456', master_port=3306, master_log_file='mysql-bin.000003', master_log_pos= 617, master_connect_retry=30;
命令说明:
master_host :Master的地址,指的是容器的独立ip,可以通过如下命令查询容器的ip
docker inspect --format=’{{.NetworkSettings.IPAddress}}’ 容器名称|容器id
Copy to clipboardErrorCopied
master_port:Master的端口号,指的是容器的端口号
master_user:用于数据同步的用户
master_password:用于同步的用户的密码
master_log_file:指定 Slave 从哪个日志文件开始复制数据,即上文中提到的 File 字段的值
master_log_pos:从哪个 Position 开始读,即上文中提到的 Position 字段的值
master_connect_retry:如果连接失败,重试的时间间隔,单位是秒,默认是60秒
7、在Slave 中的mysql终端执行show slave status \G;用于查看主从同步状态。
8、正常情况下,SlaveIORunning 和 SlaveSQLRunning 都是No,因为我们还没有开启主从复制过程。使用start slave;开启主从复制过程,然后再次查询主从同步状态show slave status \G;。
测试主从复制
测试主从复制方式就十分多了,最简单的是在Master创建一个数据库,然后检查Slave是否存在此数据库。
1、再打开一个虚拟机,进入到Master(db1):
2、这个是Slaver(db2)的数据库:
3、在Master(db1)中创建一个数据库:
create database testdb;
4、在Slaver(db2)中查看:
到此证明主从复制配置正确。
在宿主机上安装mysql客户端,测试连通性
yum install -y mysql mysql -uroot -p123456 -h 172.17.0.2 -P 3306 mysql -uroot -p123456 -h 172.17.0.3 -P 3306
没有安装过mysql客户端的,先执行第一条语句安装,我装过了,就不演示了。
-h 后面的容器的ip是上面查到了,不是说都是这样的。
Mycat安装启动
Mycat使用Java编写,所以需要提前安装jdk,安装jdk课一看我的另外一篇博客:学妹跑过来抱着我的胳膊让我帮她在Linux上装jdk【手把手教学】【需要提前下载jdk】
安装jdk
1、我们也可以利用华为云镜像直接下载jdk
我一般放在 /opt目录下:
#切换目录 cd /opt #下载 wget https://repo.huaweicloud.com/java/jdk/8u192-b12/jdk-8u192-linux-x64.tar.gz #解压 tar -zxvf jdk-8u201-linux-x64.tar.gz
2、创建符号连接统一管理(可选),以后有新版本,只要更改这个连接就可以了:
ln -s /opt/jdk1.8.0_192 /usr/jdk
3、修改环境变量:
vi /etc/profile
在末尾添加如下内容:
JAVA_HOME=/usr/jdk CLASSPATH=$JAVA_HOME/lib/ PATH=$PATH:$JAVA_HOME/bin export PATH JAVA_HOME CLASSPATH
4、使配置生效:
source /etc/profile
5、检查是否安装成功:
java -version
下载解压Mycat
1、切换到/opt目录,使用wget 下载压缩包
#切换目录 cd /opt/ #下载 wget http://dl.mycat.org.cn/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz #查看 ll |grep My #解压 tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz #查看 ll
文件复制
1、将解压后的目录copy到 /usr/local目录中(在opt目录下操作)
cp -r mycat/ /usr/local/ ls /usr/local/
2、查看mycat目录及mycat的配置文件目录
cd /usr/local/mycat/ ls cd conf/ ls
其中主要的几个配置文件如下:
server.xml:是Mycat服务器参数调整和用户授权的配置文件。
schema.xml:是逻辑库定义和表以及分片定义的配置文件。
rule.xml: 是分片规则的配置文件,分片规则的具体一些参数信息单独存放为文件,也在这个目录下,配置文件修改需要重启MyCAT。
log4j.xml: 日志存放在logs/log中,每天一个文件,日志的配置是在conf/log4j.xml中,根据自己的需要可以调整输出级别为debug
debug级别下,会输出更多的信息,方便排查问题。
autopartition-long.txt,partition-hash-int.txt,sequence_conf.properties, sequence_db_conf.properties 分片相关的id分片规则配置文件
lib MyCAT自身的jar包或依赖的jar包的存放目录。
logs MyCAT日志的存放目录。日志存放在logs/log中,每天一个文件
配置
1、需要安装jdk,修改jdk环境,即编辑/usr/local/mycat/conf/wrapper.conf
vi /usr/local/mycat/conf/wrapper.conf
配合java命令绝对路径
wrapper.java.command=/opt/jdk1.8.0_291/bin/java
修改server.xml
vi server.xml
完整的配置文件如下:
<?xml version="1.0" encoding="UTF-8"?> <!-- - - Licensed under the Apache License, Version 2.0 (the "License"); - you may not use this file except in compliance with the License. - You may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 - - Unless required by applicable law or agreed to in writing, software - distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the License for the specific language governing permissions and - limitations under the License. --> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 --> <property name="useGlobleTableCheck">0</property> <!-- 1为开启全加班一致性检测、0为关闭 --> <property name="sequnceHandlerType">2</property> <!-- <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议--> <!-- <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号--> <!-- <property name="processorBufferChunk">40960</property> --> <!-- <property name="processors">1</property> <property name="processorExecutor">32</property> --> <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena--> <property name="processorBufferPoolType">0</property> <!--默认是65535 64K 用于sql解析时最大文本长度 --> <!--<property name="maxStringLiteralLength">65535</property>--> <!--<property name="sequnceHandlerType">0</property>--> <!--<property name="backSocketNoDelay">1</property>--> <!--<property name="frontSocketNoDelay">1</property>--> <!--<property name="processorExecutor">16</property>--> <!-- <property name="serverPort">8066</property> <property name="managerPort">9066</property> <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> --> <!--分布式事务开关,0为不过滤分布式事务,1为过滤分布式事务(如果分布式事务内只涉及全局表,则不过滤),2为不过滤分布式事务,但是记录分布式事务日志--> <property name="handleDistributedTransactions">0</property> <!-- off heap for merge/order/group/limit 1开启 0关闭 --> <property name="useOffHeapForMerge">1</property> <!-- 单位为m --> <property name="memoryPageSize">1m</property> <!-- 单位为k --> <property name="spillsFileBufferSize">1k</property> <property name="useStreamOutput">0</property> <!-- 单位为m --> <property name="systemReserveMemorySize">384m</property> <!--是否采用zookeeper协调切换 --> <property name="useZKSwitch">true</property> </system> <!-- 全局SQL防火墙设置 --> <!-- <firewall> <whitehost> <host host="127.0.0.1" user="mycat"/> <host host="127.0.0.2" user="mycat"/> </whitehost> <blacklist check="false"> </blacklist> </firewall> --> <user name="mycat"> <property name="password">123456</property> <property name="schemas">TESTDB</property> <!-- 表级 DML 权限设置 --> <!-- <privileges check="false"> <schema name="TESTDB" dml="0110" > <table name="tb01" dml="0000"></table> <table name="tb02" dml="1111"></table> </schema> </privileges> --> </user> <user name="user"> <property name="password">user</property> <property name="schemas">TESTDB</property> <property name="readOnly">true</property> </user> </mycat:server>
修改schema.xml
vi schema.xml
修改dataNode、dataHost
完整的配置文件如下:
<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> </schema> <dataNode name="dn1" dataHost="host1" database="testdb" /> <dataHost name="host1" maxCon="1000" minCon="10" balance="2" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!--can have multi write hosts --> <writeHost host="hostM1" url="172.17.0.2:3306" user="root" password="123456"> <!-- can have multi read hosts --> <readHost host="hostS1" url="172.17.0.3:3306" user="root" password="123456" /> </writeHost> </dataHost> </mycat:schema>
启动
到mycat/bin目录执行shell脚本
控制台启动 ./mycat console
后台启动 ./mycat start
cd /usr/local/mycat/bin pwd ls ./mycat ./mycat console
[root@bogon opt]# cd /usr/local/mycat/bin [root@bogon bin]# pwd /usr/local/mycat/bin [root@bogon bin]# ls dataMigrate.sh init_zk_data.sh mycat rehash.sh startup_nowrap.sh wrapper-linux-ppc-64 wrapper-linux-x86-32 wrapper-linux-x86-64 [root@bogon bin]# ./mycat Usage: ./mycat { console | start | stop | restart | status | dump } [root@bogon bin]# ./mycat console Running Mycat-server... wrapper | --> Wrapper Started as Console wrapper | Launching a JVM... jvm 1 | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0 jvm 1 | Wrapper (Version 3.2.3) http://wrapper.tanukisoftware.org jvm 1 | Copyright 1999-2006 Tanuki Software, Inc. All Rights Reserved. jvm 1 | jvm 1 | 2021-06-16 18:06:19,874 [INFO ][WrapperSimpleAppMain] total resouces of dataHost host1 is :2 (io.mycat.backend.datasource.PhysicalDBPool:PhysicalDBPool.java:100) jvm 1 | 2021-06-16 18:06:19,897 [INFO ][WrapperSimpleAppMain] create layer cache pool TableID2DataNodeCache of type encache ,default cache size 10000 ,default expire seconds18000 (io.mycat.cache.CacheService:CacheService.java:125) jvm 1 | 2021-06-16 18:06:19,914 [INFO ][WrapperSimpleAppMain] create child Cache: TESTDB_ORDERS for layered cache TableID2DataNodeCache, size 50000, expire seconds 18000 (io.mycat.cache.DefaultLayedCachePool:DefaultLayedCachePool.java:80) jvm 1 | 2021-06-16 18:06:35,102 [INFO ][WrapperSimpleAppMain] dyna class load from ./catlet,and auto check for class file modified every 60 seconds (io.mycat.config.classloader.DynaClassLoader:DynaClassLoader.java:34) jvm 1 | 2021-06-16 18:06:35,103 [INFO ][WrapperSimpleAppMain] =============================================== (io.mycat.MycatServer:MycatServer.java:266) jvm 1 | 2021-06-16 18:06:35,104 [INFO ][WrapperSimpleAppMain] MyCat is ready to startup ... (io.mycat.MycatServer:MycatServer.java:267) jvm 1 | 2021-06-16 18:06:35,105 [INFO ][WrapperSimpleAppMain] Startup processors ...,total processors:4,aio thread pool size:8
超时错误解决办法
显示上面这样就是启动成功了,有时可能会出现超时的错误:
wrapper | Startup failed: Timed out waiting for signal from JVM.
解决办法:
cd /usr/local/mycat/conf vi wrapper.conf
在wrapper.conf最下方添加:
wrapper.ping.timeout=120 wrapper.startup.timeout=300
Mycat登录
登录后台管理窗口
使用9066端口登录后台管理窗口,此登录方式用于管理维护Mycat
mysql -umycat -p123456 -h 127.0.0.1 -P 9066
查看常用的命令
show @@help;
登录数据访问窗口
使用8066端口访问数据。
mysql -umycat -p123456 -h 127.0.0.1 -P 8066 show databases;
由于篇幅已经挺长了,就写一篇 Mycat的简单使用(二)【主从读写】继续介绍