Mycat【Java提高】3-阿里云开发者社区

Mycat【Java提高】3

2023-08-23 68

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

RDS MySQL Serverless 基础系列，0.5-2RCU 50GB

传统型负载均衡 CLB，每月750个小时 15LCU

网络型负载均衡 NLB，每月750个小时 15LCU

简介： Mycat【Java提高】3

2、修改 Mycat 的配置文件 schema.xml

修改的balance属性，通过此属性配置读写分离的类型

负载均衡类型，目前的取值有4 种：
（1） balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上。
（2） balance="1"，全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡，简单的说，当双主双从
模式(M1->S1， M2->S2，并且 M1 与 M2 互为主备)，正常情况下， M2,S1,S2 都参与 select 语句的负载均衡。
（3） balance="2"，所有读操作都随机的在 writeHost、 readhost 上分发。
（4） balance="3"，所有读请求随机的分发到 readhost 执行， writerHost 不负担读压力

为了双主双从读写分离balance设置为1

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
        </schema>
        <dataNode name="dn1" dataHost="host1" database="testdb" />
        <dataHost name="host1" maxCon="1000" minCon="10" balance="1"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM1" url="192.168.253.132:3306" user="root"
                                   password="123456">
                        <!-- can have multi read hosts -->
                        <readHost host="hostS1" url="192.168.253.133:3306" user="root" password="123456" />
                </writeHost>
                <writeHost host="hostM2" url="192.168.253.133:3306" user="root"
                                   password="123456">
                        <!-- can have multi read hosts -->
                        <readHost host="hostS2" url="192.168.253.135:3306" user="root" password="123456" />
                </writeHost>
        </dataHost>
</mycat:schema>
#balance="1": 全部的readHost与stand by writeHost参与select语句的负载均衡。
#writeType="0": 所有写操作发送到配置的第一个writeHost，第一个挂了切到还生存的第二个
#writeType="1"，所有写操作都随机的发送到配置的 writeHost， 1.5 以后废弃不推荐
#writeHost，重新启动后以切换后的为准，切换记录在配置文件中:dnindex.properties 。
#switchType="1": 1 默认值，自动切换。
#         -1 表示不自动切换
#          2 基于 MySQL 主从同步的状态决定是否切换。

3、启动 Mycat

出现

wrapper  | Startup failed: Timed out waiting for a signal from the JVM.
wrapper  | JVM did not exit on request, terminated 
wrapper  | JVM exited on its own while waiting to kill the application. wrapp

在wrapper.conf配置文件添加

wrapper.ping.timeout=120
wrapper.startup.timeout=300

4、验证读写分离

#在写主机Master1数据库表mytbl中插入带系统变量数据， 造成主从数据不一致
INSERT INTO mytbl VALUES(2,@@hostname);

5、抗风险能力

#停止数据库Master1

#在Mycat里插入数据依然成功， Master2自动切换为写主机
INSERT INTO mytbl VALUES(3,@@hostname);

#启动数据库Master1

#在Mycat里查询mytbl表,可以看到查询语句在Master1 、 Slava1 、 Slava2 主从三个主机间切换

结果应该和接入点有关

第四章垂直拆分——分库

一个数据库由很多表的构成，每个表对应着不同的业务，垂直切分是指按照业务将表进行分类，分布到不同的数据库上面，这样也就将数据或者说压力分担到不同的库上面，如下图：

系统被切分成了，用户，订单交易，支付几个模块。

4.1 如何划分表

一个问题：在两台主机上的两个数据库中的表，能否关联查询？
答案：不可以关联查询

分库的原则：有紧密关联关系的表应该在一个库里，相互没有关联关系的表可以分到不同的库里。

#客户表 rows:20万
CREATE TABLE customer(
  id INT AUTO_INCREMENT,
  NAME VARCHAR(200),
  PRIMARY KEY(id)
);
#订单表 rows:600万
CREATE TABLE orders(
  id INT AUTO_INCREMENT,
  order_type INT,
  customer_id INT,
  amount DECIMAL(10,2),
  PRIMARY KEY(id)
);
#订单详细表 rows:600万
CREATE TABLE orders_detail(
  id INT AUTO_INCREMENT,
  detail VARCHAR(2000),
  order_id INT,
  PRIMARY KEY(id)
);
#订单状态字典表 rows:20
CREATE TABLE dict_order_type(
  id INT AUTO_INCREMENT,
  order_type VARCHAR(200),
  PRIMARY KEY(id)
);

以上四个表如何分库？客户表分在一个数据库，另外三张都需要关联查询，分在另外一个数据库。

4.2 实现分库

1、修改 schema 配置文件

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
    <table name="customer" dataNode="dn2" ></table>
        </schema>
        <dataNode name="dn1" dataHost="host1" database="orders" />
    <dataNode name="dn2" dataHost="host2" database="orders" />
        <dataHost name="host1" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM1" url="192.168.253.132:3306" user="root"
                                   password="123456">               
                </writeHost>
        </dataHost>
  <dataHost name="host2" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM1" url="192.168.253.133:3306" user="root"
                                   password="123456">               
                </writeHost>
        </dataHost>
</mycat:schema>

2、新增两个空白库

分库操作不是在原来的老数据库上进行操作，需要准备两台机器分别安装新的数据库

#在数据节点 dn1、 dn2 上分别创建数据库 orders
CREATE DATABASE orders;

3、启动 Mycat

./mycat console

4、访问 Mycat 进行分库

#访问 Mycat
mysql -umycat -p123456 -h192.168.253.132 -P8066
#切换到 TESTDB
#创建 4 张表
#查看表信息，可以看到成功分库

#客户表 rows:20万
CREATE TABLE customer(
  id INT AUTO_INCREMENT,
  NAME VARCHAR(200),
  PRIMARY KEY(id)
);
#订单表 rows:600万
CREATE TABLE orders(
  id INT AUTO_INCREMENT,
  order_type INT,
  customer_id INT,
  amount DECIMAL(10,2),
  PRIMARY KEY(id)
);
#订单详细表 rows:600万
CREATE TABLE orders_detail(
  id INT AUTO_INCREMENT,
  detail VARCHAR(2000),
  order_id INT,
  PRIMARY KEY(id)
);
#订单状态字典表 rows:20
CREATE TABLE dict_order_type(
  id INT AUTO_INCREMENT,
  order_type VARCHAR(200),
  PRIMARY KEY(id)
);

mycat

dn1

dn2

第五章水平拆分——分表

相对于垂直拆分，水平拆分不是将表做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中，如图：

5.1 实现分表

1、选择要拆分的表

MySQL 单表存储数据条数是有瓶颈的，单表达到 1000 万条数据就达到了瓶颈，会影响查询效率，需要进行水平拆分（分表）进行优化。

例如：例子中的 orders、 orders_detail 都已经达到 600 万行数据，需要进行分表优化。
2、分表字段

以 orders 表为例，可以根据不同自字段进行分表

编号	分表字段	效果
1	id（主键、或创建时间）	查询订单注重时效，历史订单被查询的次数少，如此分片会造成一个节点访问多，一个访问少，不平均。
2	customer_id（客户 id）	根据客户 id 去分，两个节点访问平均，一个客户的所有订单都在同一个节点

3、修改配置文件 schema.xml

#为 orders 表设置数据节点为 dn1、 dn2， 并指定分片规则为 mod_rule（自定义的名字）
<table name="orders" dataNode="dn1,dn2" rule="mod_rule" ></table>
#如下图

4、修改配置文件 rule.xml

#在 rule 配置文件里新增分片规则 mod_rule，并指定规则适用字段为 customer_id，
#还有选择分片算法 mod-long（对字段求模运算） ， customer_id 对两个节点求模，根据结果分片
#配置算法 mod-long 参数 count 为 2，两个节点
<tableRule name="mod_rule">
  <rule>
  <columns>customer_id</columns>
  <algorithm>mod-long</algorithm>
  </rule>
</tableRule>
…
<!-- 不需自己写，需修改count -->
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
  <!-- how many data nodes -->
  <property name="count">2</property>
</function>
#如下图：

5、在数据节点 dn2 上建 orders 表

#订单表 rows:600万
CREATE TABLE orders(
  id INT AUTO_INCREMENT,
  order_type INT,
  customer_id INT,
  amount DECIMAL(10,2),
  PRIMARY KEY(id)
);

6、重启 Mycat，让配置生效

./mycat console

7、访问 Mycat 实现分片

mysql> use TESTDB;
#在 mycat 里向 orders 表插入数据， INSERT 字段不能省略
INSERT INTO orders(id,order_type,customer_id,amount) VALUES (1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(6,102,100,100020);

#在mycat、 dn1、 dn2中查看orders表数据，分表成功

是根据mod_rule规则分的

mycat

dn1 customer_id=100

dn2 customer_id=101

Mycat【Java提高】3

第四章垂直拆分——分库

4.1 如何划分表

4.2 实现分库

第五章水平拆分——分表

5.1 实现分表

热门文章

最新文章

相关课程

相关电子书

相关实验场景

Mycat【Java提高】3

第四章 垂直拆分——分库

4.1 如何划分表

4.2 实现分库

第五章 水平拆分——分表

5.1 实现分表

热门文章

最新文章

相关课程

相关电子书

相关实验场景

第四章垂直拆分——分库

第五章水平拆分——分表