15天学习MySQL计划分库分表-监控-第十四天
1.介绍
1.问题分析
随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增加，若采用但数据进行数据存储，存在以下性能瓶颈：
IO瓶颈：热点数据太多，数据库缓存不足，产生大量磁盘IO，效率较低。请求数据太多，带宽不够，网络IO瓶颈。
CPU瓶颈：排序，分组，连接查询，聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。
分库分表的中心思想都是将数据分散存储，使得单一数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。
2.拆分策略
1.垂直拆分
2.水平拆分
3.实现技术
shardingJDBC：基于AOP原理，在应用程序中对本地执行的SQL进行拦截，解析，改写，路由处理。需要自行编码配置实现，只支持java语句，性能较高。
MyCat：数据库分库分表中间件，不用调整代码即可实现分库分表，支持多种语言，性能不及前者。
2.mycat概述
1.简介
MyCat是开源的，活跃的，基于Java语言编写的MySQL数据库中间件。可以像使用MySQL一样使用mycat，对于开发老根本感觉不到mycat的存在。
优势：
- 性能可靠稳定
- 强大的技术团队
- 体系完善
- 社区活跃
2.安装
mycat是采用Java语言开发的开源数据库中间件，支持windows和Linux运行环境，下面介绍mycat的Linux中的环境搭建。我们需要在准备好的服务器中安装如下软件。
- MySQL
- JDL
- mycat
- 准备JDK二进制tar包
- 解压
- 设置环境变量
- java -version 测试
- 准备MyCat包
- 解压
- 将lib下的jar包进行替换与当前JDK相同的版本
3.mycat概念
3.mycat入门
由于tb_order表中的数据量很大，磁盘IO及容量都达到了瓶颈，现在需要对tb_order表进行数据分片，分为三个数据节点，每一个节点主机位于不同的服务器上，具体的结构，参考下图：
1.部署环境
2.配置过程
- 在三个数据库创建三个相同的库名
- 创建一个用户
- 修改scheam配置文件
- 修改server文件
- 启动mycat文件
- 连接mycat服务
- 测试分表
3.分片数据库配置（scheam.xml）
[root@localhost bin]# vi /usr/local/mycat/conf/schema.xml <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="DB01" checkSQLschema="true" sqlMaxLimit="100"> <table name="TB_ORDER" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" /> </schema> <dataNode name="dn1" dataHost="dhost1" database="test" /> <dataNode name="dn2" dataHost="dhost2" database="test" /> <dataNode name="dn3" dataHost="dhost3" database="test" /> <dataHost name="dhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="master" url="jdbc:mysql://192.168.2.1:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" /> </dataHost> <dataHost name="dhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="master" url="jdbc:mysql://192.168.2.2:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" /> </dataHost> <dataHost name="dhost3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="master" url="jdbc:mysql://192.168.2.3:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" /> </dataHost> </mycat:schema>
4.分片用户配置（server.xml）
配置mycat的用户及用户的权限信息
[root@localhost bin]# vi /usr/local/mycat/conf/server.xml <user name="root" defaultAccount="true"> <property name="password">123456</property> <property name="schemas">DB01</property> </user>
5.连接mycat测试
[root@localhost ~]# mysql -h192.168.2.1 -P8066 -uroot -p mysql> use DB01; mysql> CREATE TABLE TB_ORDER ( id BIGINT(20) NOT NULL, title VARCHAR(100) NOT NULL , PRIMARY KEY (id) ) ENGINE=INNODB DEFAULT CHARSET=utf8 ; INSERT INTO TB_ORDER(id,title) VALUES(1,'goods1'); INSERT INTO TB_ORDER(id,title) VALUES(2,'goods2'); INSERT INTO TB_ORDER(id,title) VALUES(3,'goods3'); INSERT INTO TB_ORDER(id,title) VALUES(5000000,'goods5000000'); INSERT INTO TB_ORDER(id,title) VALUES(10000000,'goods10000000'); INSERT INTO TB_ORDER(id,title) VALUES(10000001,'goods10000001'); INSERT INTO TB_ORDER(id,title) VALUES(15000000,'goods15000000'); INSERT INTO TB_ORDER(id,title) VALUES(15000001,'goods15000001');
4.mycat配置
1.schema.xml
schema.xml作为mycat中最重要的配置文件之一，涵盖了mycat的逻辑库，逻辑表，分片规则，分片某节点及数据源的配置。
主要包含以下三组标签
- schema标签
- datanode标签
- datahost标签
1.shcema标签
schema标签用于定义mycat实例中的逻辑库，一个mycat实例中，可以有多个逻辑库，可以通过scheam标签来进行划分。Mycat中的逻辑库的概念，等同于MySQL中的database概念，需要操作一个逻辑库下的表时，也需要切换逻辑库（use）
核心属性：
- name：指定自定义的逻辑库库名
- checkSQLschema：在SQL语句操作时指定了数据库名称，执行时是否自动去除；true：自动去除，false：不自动去除
- sqlMaxlimit：如果未指定limit进行查询，列表查询模式查询多少条记录
2.schema标签（table）
table标签定义了mycat中逻辑schema下的逻辑表，所有需要拆分的表都需要在table标签中定义。
核心属性：
ame：定义逻辑表表名，在该逻辑库下唯一
dataNode：定义逻辑表所属的dataNode，该属性需要与dataNode标签中name对应；多个datanode逗号分割
rule：分片规则的名字，分片规则名字是在rule.xml中定义的
primaryKey：逻辑表对应真实表的主键
type：逻辑表的类型，目前逻辑表只有全局表和普通表，如果未配置，就是普通表；全局表，配置为global
3.datanode标签
datanode标签中定义了mycat中的数据节点，也就是我们通常说的数据分片。一个datanode标签就是一个独立的数据分片。
核心属性：
- name：定义数据节点名称
- datahost：数据实例主机名称，引用自datahost标签中name属性
- database：定义分片所属数据库
4.datahost标签
该标签在mycat逻辑库中作为底层标签存在，直接定义了具体的数据库实例，读写分离，心跳语句。
核心属性：
name：唯一标识，供上层标签使用
maxCon/minCon：最大连接数/最小连接数
balance：负载均衡策略，取值0，1，2，3
writetype：写操作分发方式（0：写操作转发到第一个writehost，第一个挂了就切换到第二个；1：写操作随机分发到配置的writehost上）
dbdriver：数据库驱动，支持native，jdbc
2.rule.xml
rule.xml中定义所有拆分表的规则，在使用过程中可以灵活的使用分片算法，或者对同一个分片算法使用不同的参数，它让分片过程可配置化。主要包含两类标签：tableTule，Function。
