MyCat教程【安装及配置介绍】-阿里云开发者社区

开发者社区> 游客a74jvhcp7vclg> 正文

MyCat教程【安装及配置介绍】

简介: 本文我们来介绍下MyCat的安装和相关的配置文件的介绍
+关注继续查看

本文我们来介绍下MyCat的安装和相关的配置文件的介绍


一、安装MyCat


1.安装准备环境


1.1 安装JDK


 因为mycat是java开发的,所以需要java虚拟机环境,在Linux节点中安装JDK是必须的。

20191016095730697.png


1.2 放开相关端口


 在主从节点上都放开对端口3306的访问,或者直接关闭防火墙。

# 临时关闭
service iptables stop
service iptables start
# 永久关闭
chkconfig iptables on
chkconfig iptables off

# 查看防火墙状态
service iptables status


1.3 root账号


 mycat是我们的数据库中间件,那么mycat必然要能够访问对应的主从数据库,所以在主从数据库中我们需要分别创建访问的账号。

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;


2.安装mycat


2.1 下载安装软件


官网地址:http://www.mycat.io/


20191016100048202.png


2.2 上传解压安装


 将下载的文件上传到/usr/local目录下,并解压


20191016100412235.gif


2.3 目录介绍


 解压后的目录结构如下:

20191016100505145.png

目录描述
bin目录里是启动脚本
conf目录里是配置文件
catlet为 Mycat 的一个扩展功能
lib目录里是 Mycat 和它的依赖 jar
logs目录里是 console.log 用来保存控制台日志,和 mycat.log 用来保存 mycat 的 log4j日志



二、相关配置文件介绍


 Mycat的架构其实很好理解,Mycat是代理,Mycat后面就是物理数据库。和Web服务器的 Nginx类似。对于使用者来说,访问的都是 Mycat,不会接触到后端的数据库。


20191016101858935.png


注意:MyCat的主要配置文件都在conf目录下。我们给大家来介绍下介个核心的配置文件

配置文件说明
server.xmlMyCat 的配置文件,设置账号、参数等
schema.xmlMyCat 对应的物理数据库和数据库表的配置
rule.xmlMyCat 分片(分库分表)规则


2.1 server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
        <property name="useSqlStat">0</property> 
        <property name="useGlobleTableCheck">0</property>  
        <property name="sequnceHandlerType">2</property>
        <property name="processorBufferPoolType">0</property>
        <property name="handleDistributedTransactions">0</property>
        <property name="useOffHeapForMerge">1</property>
        <property name="memoryPageSize">1m</property>
        <property name="spillsFileBufferSize">1k</property>
        <property name="useStreamOutput">0</property>
        <property name="systemReserveMemorySize">384m</property>
        <property name="useZKSwitch">true</property>
    </system>
    
    <!-- 全局SQL防火墙设置 -->
    <!-- 
    <firewall> 
       <whitehost>
          <host host="127.0.0.1" user="mycat"/>
          <host host="127.0.0.2" user="mycat"/>
       </whitehost>
       <blacklist check="false">
       </blacklist>
    </firewall>
    --> 
    <user name="root">
        <property name="password">123456</property>
        <property name="schemas">TESTDB</property>
        
        <!-- 表级 DML 权限设置 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>

    <user name="user">
        <property name="password">user</property>
        <property name="schemas">TESTDB</property>
        <property name="readOnly">true</property>
    </user>
</mycat:server>

system标签中设置的是系统级别的相关参数,参考源文件中的注释即可能看懂,初始默认即可

user标签是我们要注意的地方。 Mycat 中的用户,用户可以访问的逻辑库,可以访问的逻辑表,服务的端口号等

说明:上面的默认的配置表示 创建的有两个用户root和user账号

 root 账号,密码是123456,对应的逻辑库是 TESTDB

 user 账号,密码是user,对应的逻辑库是 TESTDB,权限是只读


注释掉的privileges 表示root用户的操作权限

参数说明事例
dmlinsert,update,select,delete0000



2.2 schema.xml

schema.xml 是最主要的配置文件,首先看默认的配置文件

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
        <table name="company" primaryKey="ID" type="global" dataNode="dn1,dn2,dn3" />
        <table name="goods" primaryKey="ID" type="global" dataNode="dn1,dn2" />
        <table name="hotnews" primaryKey="ID" autoIncrement="true" dataNode="dn1,dn2,dn3" rule="mod-long" />
        <table name="employee" primaryKey="ID" dataNode="dn1,dn2" rule="sharding-by-intfile" />
        <table name="customer" primaryKey="ID" dataNode="dn1,dn2" rule="sharding-by-intfile">
            <childTable name="orders" primaryKey="ID" joinKey="customer_id" parentKey="id">
                <childTable name="order_items" joinKey="order_id" parentKey="id" />
            </childTable>
            <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id" parentKey="id" />
        </table>
    </schema>

    <dataNode name="dn1" dataHost="localhost1" database="db1" />
    <dataNode name="dn2" dataHost="localhost1" database="db2" />
    <dataNode name="dn3" dataHost="localhost1" database="db3" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="localhost:3306" user="root"
                   password="123456">
            <readHost host="hostS2" url="192.168.1.200:3306" user="root" password="xxx" />
        </writeHost>
        <writeHost host="hostS1" url="localhost:3316" user="root"
                   password="123456" />
    </dataHost>

</mycat:schema>

2.2.1 主要节点介绍


 在配置文件中可以定义读写分离,逻辑库,逻辑表,dataHost,dataNode 等信息.

节点描述
schema配置逻辑库,name 与 server.xml 中 schema 对应
dataNode定义数据节点的标签,也就是分库相关配置
dataHost物理数据库,真正存储数据的数据库



2.2.2.1 schema


属性name

逻辑库名称


属性checkSQLschema

是否检测 SQL 语法中的 schema 信息. 如: Mycat 逻辑库名称 A, dataNode 名称 B
SQL : select * from A.table;
checkSQLschema 值是 true, Mycat 发送到数据库的 SQL 是 select * from table;
checkSQLschema 只是 false,Mycat 发送的数据库的 SQL 是 select * from A.table;


属性sqlMaxLimit

Mycat 在执行 SQL 的时候,如果 SQL 语句中没有 limit 子句.自动增加 limit 子句. 避免一次
性得到过多的数据,影响效率. limit子句的限制数量默认配置为100.如果 SQL中有具体的 limit
子句,当前属性失效.
SQL : select * from table . mycat 解析后: select * from table limit 100
SQL : select * from table limit 10 . mycat 不做任何操作修改.


标签 table

定义逻辑表的标签


属性 name

逻辑表名


属性 dataNode

数据节点名称. 即物理数据库中的 database 名称.多个名称使用逗号分隔.


属性 rule

分片规则名称.具体的规则名称参考 rule.xml 配置文件.


2.2.2.2 dataNode


属性 name

数据节点名称, 是定义的逻辑名称,对应具体的物理数据库 database


属性 dataHost

引用 dataHost 标签的 name 值,代表使用的物理数据库所在位置和配置信息.


属性 database

在 dataHost 物理机中,具体的物理数据库 database 名称.


2.2.2.3 dataHost


属性 name

定义逻辑上的数据主机名称


属性 maxCon/minCon

最大连接数, max connections
最小连接数, min connections


属性 dbType

数据库类型 : mysql 数据库


属性 dbDriver

数据库驱动类型, native,使用 mycat 提供的本地驱动.


dataHost 子标签 writeHost

写数据的数据库定义标签. 实现读写分离操作.


属性 host

数据库命名


属性 url

数据库访问路径


属性 user

数据库访问用户名


属性 password

访问用户密码


writeHost 子标签 readHost

属性 host

数据库命名


属性 url

数据库访问路径


属性 user

数据库访问用户名


属性 password

2.3 rule.xml


 用于定义分片规则的配置文件。mycat 默认的分片规则: 以 500 万为单位,实现分片规则.逻辑库 A 对应 dataNode - db1 和 db2. 1-500 万保存在 db1 中, 500 万零 1 到 1000 万保存在 db2 中,1000 万零 1 到 1500 万保存在 db1 中.依次类推.

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
    - you may not use this file except in compliance with the License. - You 
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
    - - Unless required by applicable law or agreed to in writing, software - 
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
    License for the specific language governing permissions and - limitations 
    under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
    <tableRule name="rule1">
        <rule>
            <columns>id</columns>
            <algorithm>func1</algorithm>
        </rule>
    </tableRule>

    <tableRule name="rule2">
        <rule>
            <columns>user_id</columns>
            <algorithm>func1</algorithm>
        </rule>
    </tableRule>

    <tableRule name="sharding-by-intfile">
        <rule>
            <columns>sharding_id</columns>
            <algorithm>hash-int</algorithm>
        </rule>
    </tableRule>
    <tableRule name="auto-sharding-long">
        <rule>
            <columns>id</columns>
            <algorithm>rang-long</algorithm>
        </rule>
    </tableRule>
    <tableRule name="mod-long">
        <rule>
            <columns>id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>
    <tableRule name="sharding-by-murmur">
        <rule>
            <columns>id</columns>
            <algorithm>murmur</algorithm>
        </rule>
    </tableRule>
    <tableRule name="crc32slot">
        <rule>
            <columns>id</columns>
            <algorithm>crc32slot</algorithm>
        </rule>
    </tableRule>
    <tableRule name="sharding-by-month">
        <rule>
            <columns>create_time</columns>
            <algorithm>partbymonth</algorithm>
        </rule>
    </tableRule>
    <tableRule name="latest-month-calldate">
        <rule>
            <columns>calldate</columns>
            <algorithm>latestMonth</algorithm>
        </rule>
    </tableRule>
    
    <tableRule name="auto-sharding-rang-mod">
        <rule>
            <columns>id</columns>
            <algorithm>rang-mod</algorithm>
        </rule>
    </tableRule>
    
    <tableRule name="jch">
        <rule>
            <columns>id</columns>
            <algorithm>jump-consistent-hash</algorithm>
        </rule>
    </tableRule>

    <function name="murmur"
        class="io.mycat.route.function.PartitionByMurmurHash">
        <property name="seed">0</property><!-- 默认是0 -->
        <property name="count">2</property><!-- 要分片的数据库节点数量,必须指定,否则没法分片 -->
        <property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点,默认是160倍,也就是虚拟节点数是物理节点数的160倍 -->
        <!-- <property name="weightMapFile">weightMapFile</property> 节点的权重,没有指定权重的节点默认是1。以properties文件的格式填写,以从0开始到count-1的整数值也就是节点索引为key,以节点权重值为值。所有权重值必须是正整数,否则以1代替 -->
        <!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property> 
            用于测试时观察各物理节点与虚拟节点的分布情况,如果指定了这个属性,会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件,没有默认值,如果不指定,就不会输出任何东西 -->
    </function>

    <function name="crc32slot"
              class="io.mycat.route.function.PartitionByCRC32PreSlot">
        <property name="count">2</property><!-- 要分片的数据库节点数量,必须指定,否则没法分片 -->
    </function>
    <function name="hash-int"
        class="io.mycat.route.function.PartitionByFileMap">
        <property name="mapFile">partition-hash-int.txt</property>
    </function>
    <function name="rang-long"
        class="io.mycat.route.function.AutoPartitionByLong">
        <property name="mapFile">autopartition-long.txt</property>
    </function>
    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!-- how many data nodes -->
        <property name="count">3</property>
    </function>

    <function name="func1" class="io.mycat.route.function.PartitionByLong">
        <property name="partitionCount">8</property>
        <property name="partitionLength">128</property>
    </function>
    <function name="latestMonth"
        class="io.mycat.route.function.LatestMonthPartion">
        <property name="splitOneDay">24</property>
    </function>
    <function name="partbymonth"
        class="io.mycat.route.function.PartitionByMonth">
        <property name="dateFormat">yyyy-MM-dd</property>
        <property name="sBeginDate">2015-01-01</property>
    </function>
    
    <function name="rang-mod" class="io.mycat.route.function.PartitionByRangeMod">
            <property name="mapFile">partition-range-mod.txt</property>
    </function>
    
    <function name="jump-consistent-hash" class="io.mycat.route.function.PartitionByJumpConsistentHash">
        <property name="totalBuckets">3</property>
    </function>
</mycat:rule>


简化版

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">

    <tableRule name="mod-long">
        <rule>
            <columns>id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>
    
    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!-- how many data nodes -->
        <property name="count">3</property>
    </function>

</mycat:rule>


由上我们可以发现在rule.xml文件中,核心的标签就两个tableRule 和function,我们分别来介绍下


2.3.1 tableRule


 是用来声明table的分片规则的,相关属性及标签的含义如下


截屏2021-12-03 上午10.25.32.png

algorithm 使用 function 标签中的 name 属性。连接表规则和具体分片算法。 table 标签内使用。让逻辑表使用这个规则进行分片

2.3.2 function


 指定分片规则的算法的具体实现

节点描述
name指定算法的名字
class制定分片算法具体的类名字
property为具体算法需要用到的一些属性


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
QT5.10.0安装教程图文教程以及安装成功QT5.10.0后环境配置图文教程
QT是一个非常强大的图形用户界面应用程序开发框架,但是它现在不是很主流。虽然这样但是它的应用领域还是非常的广,特别是应用在嵌入式领域,非常多的公司喜欢用它来做界面。所以还是有比较多的小伙伴们想要学习这门语言,但是目前网络上的教程比较少,这里为大家介绍一下QT5.10.0安装的详细教程,希望对初学者有一定的帮助。
2556 0
Java开发Maven环境配置和介绍
最近很火热的12306的订票软件go-home,我也下载了一份下来了,使用了一下,也从svn中把代码down下来了,但是在eclipse中竟然出错了,依赖的jar包都没有找到,后来才知道人家是用maven来管理依赖的,所以就去看了下maven,发现还真是很强大很方便的一个工具,特记录一下简单的配置和使用。
679 0
服务器配置:阿里云服务器(Windows)的配置以及安装Tomcat连接服务器的教程
服务器配置:阿里云服务器(Windows)的配置以及安装Tomcat连接服务器的教程
13 0
Webpack 2 视频教程 002 - NodeJS 安装与配置
原文发表于我的技术博客 这是我免费发布的高质量超清「Webpack 2 视频教程」。 Webpack 作为目前前端开发必备的框架,Webpack 发布了 2.0 版本,此视频就是基于 2.0 的版本讲解的。
952 0
《手机测试Robotium实战教程》—第2章2.1节JDK安装及其环境变量配置
因为要用到Java语言,所以JDK是首先需要安装的。可以通过下面的链接,选择对应平台的JDK版本进行下载。
1361 0
Node.js 教程 01 - 简介、安装及配置
系列目录: Node.js 教程 01 - 简介、安装及配置 Node.js 教程 02 - 经典的Hello World Node.js 教程 03 - 创建HTTP服务器 Node.js 教程 04 - 模块系统 Node.js 教程 05 - EventEmitter(事件监听/发射器) Node.js 教程 06 - 函数     ▁▃▅ Node.js 教程 01 - 简介、安装及配置 ▅▃▁       简单的说 Node.js 就是运行在服务端的 JavaScript。
1215 0
Thrift教程初级篇——thrift安装环境变量配置第一个实例
前言:                     因为项目需要跨语言,c++客户端,web服务端,远程调用等需求,所以用到了RPC框架Thrift,刚开始有点虚,第一次接触RPC框架,后来没想到Thrift开发方便上手快,而且性能和稳定性也不错,项目也顺利完成。
1332 0
+关注
游客a74jvhcp7vclg
10余年开发架构经验,同时乐于技术分享!
332
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载