AI 助理
备案控制台
开发者社区 数据库 文章 正文

MySQL-中间件mycat（一）

2023-06-30 455
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS PostgreSQL，集群系列 2核4GB
简介： MySQL-中间件mycat（一）

      mycat目前已经出mycat2版本了，虽然还没有全面普及，但是大概这两年各大企业逐步升级mycat2，但是mycat1还是要有一定的了解。本次mycat分三章讲解，熟悉mycat1后，可以去官网下载一个mycat2学习。官网地址：上海云业网络科技有限公司

mycat基础概念

一、什么是MyCat

  1. 一个彻底开源的，面向企业应用开发的大数据库集群
  2. 支持事务、ACID，通过远程可以直接当做数据库使用
  3. 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
  4. 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
  5. 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
  6. 一个新颖的数据库中间件产品

二、为什么使用MyCat

       如今随着互联网的发展，数据的量级也是撑指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库。如何使用关系型数据库解决海量存储的问题呢？此时就需要做数据库集群，为了提高查询性能将一个数据库的数据分散到不同的数据库中存储，为应对此问题就出现了——MyCat

综上所述：Mycat作用为：能满足数据库数据大量存储；提高了查询性能。

  1. 读写分离
  2. 数据分片 垂直拆分（分库） 、 水平拆分（分表） 、 垂直+水平拆分（分库分表）
  3. 多数据源整合

三、数据库中间件对比

  1. Cobar属于阿里B2B事业群，始于2008年，在阿里服役3年多，接管3000+个MySQL数据库的schema, 集群日处理在线SQL请求50亿次以上。由于Cobar发起人的离职， Cobar停止维护。
  2. Mycat是开源社区在阿里cobar基础上进行二次开发，解决了cobar存在的问题，并且加入了许多新 的功能在其中。青出于蓝而胜于蓝。
  3. OneProxy基于MySQL官方的proxy思想利用c进行开发的， OneProxy是一款商业收费的中间件。舍 弃了一些功能，专注在性能和稳定性上。
  4. kingshard由小团队用go语言开发，还需要发展，需要不断完善。
  5. Vitess是Youtube生产在使用， 架构很复杂。不支持MySQL原生协议，使用需要大量改造成本。
  6. Atlas是360团队基于mysql proxy改写，功能还需完善，高并发下不稳定。
  7. MaxScale是mariadb（MySQL原作者维护的一个版本） 研发的中间件
  8. MySQLRoute是MySQL官方Oracle公司发布的中间件

四、支持的数据库

支持MySQL、ORACLE、SQLServer等一些主流的数据库。

五、核心技术（分库分表）

数据库分片指：通过某种特定的条件，将我们存放在一个数据库中的数据分散存放在不同的多个数据库（主机）中，这样来达到分散单台设备的负载，根据切片规则，可分为以下两种切片模式MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。

  1. Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。
  2. Table：逻辑表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。
  3. DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上
  4. DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上

六、分片规则

       前面讲了数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难。

Mycat安装部署

拓扑图如下：

 

初始环境

master和slave搭建主从复制，这里就搭建一个简单地主从关系就可以。

1. master开启二进制日志、server_id

1. [root@master ~]# vim /etc/my.cnf
2. server_id=1
3. log_bin=mysql-bin
4. [root@master ~]# systemctl restart mysqld
5. [root@master ~]# mysql -uroot -p123             #登录mysql创建主从连接用户
6. #省略登录信息
7. mysql> grant replication slave on *.* to rep@'192.168.8.%' identified by '123';
8. Query OK, 0 rows affected, 1 warning (0.00 sec)
9. 
10. mysql> show master status;
11. +------------------+----------+--------------+------------------+-------------------+
12. | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
13. +------------------+----------+--------------+------------------+-------------------+
14. | mysql-bin.000005 |      446 |              |                  |                   |
15. +------------------+----------+--------------+------------------+-------------------+
16. 1 row in set (0.00 sec)

2. slave指定server_id、指定maste为8.20

1. [root@slave ~]# vim /etc/my.cnf 
2. server_id=2
3. [root@slave ~]# systemctl restart mysqld
4. [root@slave ~]# mysql -uroot -p123              #登录mysql指定主为8.20
5. #省略登录信息
6. mysql> change master to
7.     -> master_user='rep',
8.     -> master_host='192.168.8.20',
9.     -> master_port=3306,
10.     -> master_password='123',
11.     -> master_log_file='mysql-bin.000005',
12.     -> master_log_pos=446;
13. Query OK, 0 rows affected, 2 warnings (0.02 sec)
14. 
15. mysql> start slave;
16. Query OK, 0 rows affected (0.01 sec)
17. 
18. mysql> show slave status\G
19. *************************** 1. row ***************************
20.                Slave_IO_State: Waiting for master to send event
21.                   Master_Host: 192.168.8.20
22.                   Master_User: rep
23.                   Master_Port: 3306
24.                 Connect_Retry: 60
25.               Master_Log_File: mysql-bin.000005
26.           Read_Master_Log_Pos: 446
27.                Relay_Log_File: slave-relay-bin.000002
28.                 Relay_Log_Pos: 320
29.         Relay_Master_Log_File: mysql-bin.000005
30.              Slave_IO_Running: Yes
31.             Slave_SQL_Running: Yes
32. #省略部分内容

测试环境

1. master创建库、表、插入数据

1. mysql> create database mytest character set utf8;
2. Query OK, 1 row affected (0.01 sec)
3. 
4. mysql> use mytest
5. Database changed
6. mysql> create table tb1(
7.     -> id int primary key,
8.     -> name varchar(20));
9. Query OK, 0 rows affected (0.01 sec)
10. 
11. mysql> insert into tb1 values(1,'z3');
12. Query OK, 1 row affected (0.08 sec)
13. 
14. mysql> grant all on *.* to root@'%' identified by '123';                #提前创建一个root的远程用户，权限可以根据需求提供，如果没有创建，mycat则没有权限查看数据
15. Query OK, 0 rows affected, 1 warning (0.01 sec)

2. slave查看数据

1. mysql> select * from mytest.tb1;
2. +----+------+
3. | id | name |
4. +----+------+
5. |  1 | z3   |
6. +----+------+
7. 1 row in set (0.00 sec)

下载安装

1. 下载及安装

jdk：要求jdk必须是1.7及以上版本

Mysql：推荐mysql是5.5以上版本

Mycat：Mycat的官方网站：上海云业网络科技有限公司

下载地址： GitHub - MyCATApache/Mycat-download Mycat有windows、linux多种版本。

第一步：下载Mycat-server-xxxx-linux.tar.gz

第二步：将压缩包解压缩。建议将mycat放到/usr/local/mycat目录下。

第三步：进入mycat目录，启动mycat./mycat start 停止：./mycat stop

mycat支持的命令{ console | start | stop | restart | status |dump } Mycat的默认端口号为：8066

2. 配置文件的相关配置

①schema.xml： 定义逻辑库，表、分片节点等内容

②rule.xml： 定义分片规则

③server.xml： 定义用户以及系统相关变量，如端口等

准备好jdk、mycat软件包，解压到相应目录。

1. [root@mycat src]# tar zxf jdk-8u131-linux-x64.tar.gz 
2. [root@mycat src]# mv jdk1.8.0_131/ /usr/local/java
3. [root@mycat src]# tar zxf Mycat-server-1.6.7.6-release-20220524173810-linux.tar.gz 
4. [root@mycat src]# mv mycat/ /usr/local/mycat
5. [root@mycat src]# vim /etc/profile                      #添加path路径
6. export JAVA_HOME=/usr/local/java
7. export MYCAT_HOME=/usr/local/mycat
8. export PATH=$JAVA_HOME/bin:$PATH:$MYCAT_HOME/bin
9. [root@mycat src]# source /etc/profile
10. [root@mycat src]# java -version                         #查看jdk版本
11. java version "1.8.0_131"
12. Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
13. Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
14. [root@mycat src]# cd /usr/local/mycat/conf/

修改配置文件

1. 修改server.xml 修改用户信息，与MySQL区分， 如下：

[root@mycat conf]# vim server.xml

2 . 修改schema.xml，这里只需要修改IP（如下图所示），其他的注释信息也被我删掉了，方便查看。

1. [root@mycat conf]# vim schema.xml
2. <?xml version="1.0"?>
3. <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
4. <mycat:schema xmlns:mycat="http://io.mycat/">
5. 
6.         <schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1">
7.         </schema>
8.         <dataNode name="dn1" dataHost="localhost1" database="mytest" />
9.         <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
10.                           writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
11.                 <heartbeat>select user()</heartbeat>
12.                 <!-- can have multi write hosts -->
13.                 <writeHost host="hostM1" url="jdbc:mysql://192.168.8.20:3306" user="root"
14.                                    password="123">
15.                 <readHost host="hostS1" url="jdbc:mysql://192.168.8.30:3306" user="root"
16.                                    password="123"></readHost>
17.                 </writeHost>
18.                
19.         </dataHost>
20. </mycat:schema>

 

启动mycat

1. [root@mycat conf]# mycat console
2. 或者
3. [root@mycat conf]# mycat start

测试连接

slave测试等mycat，用户名为mycat，密码默认为123456，端口8066.

1. [root@slave ~]# mysql -umycat -p123456 -h 192.168.8.10 -P8066
2. #省略登录信息
3. mysql> show databases;
4. +----------+
5. | DATABASE |
6. +----------+
7. | TESTDB   |
8. +----------+
9. 1 row in set (0.00 sec)
10. 
11. mysql> use TESTDB
12. Reading table information for completion of table and column names
13. You can turn off this feature to get a quicker startup with -A
14. 
15. Database changed
16. mysql> show tables;
17. +------------------+
18. | Tables_in_mytest |
19. +------------------+
20. | tb1              |
21. +------------------+
22. 1 row in set (0.01 sec)
23. 
24. mysql> select * from tb1;
25. +------+------+
26. | id   | name |
27. +------+------+
28. |    1 | z3   |
29. +------+------+
30. 1 row in set (0.49 sec)

至此mycat部署完成，后面还将针对文件的详细信息，详细讲解。

 

文章标签：
云数据库 RDS MySQL 版
Java
SQL
关系型数据库
NoSQL
cobar
MySQL
Oracle
中间件
数据库
存储
关键词：
中间件mysql
云数据库 RDS MySQL 版中间件
中间件mycat
云数据库 RDS MySQL 版mycat
云数据库 RDS MySQL 版中间件mycat
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
大虾好吃吗
目录
相关文章
流烟默
|
7月前
|
关系型数据库 MySQL Java
MySQL单表膨胀优化之MyCat分库分表
MySQL单表膨胀优化之MyCat分库分表
流烟默
149 0
童小纯
|
7月前
|
SQL 关系型数据库 MySQL
Mycat【Mycat部署安装（核心配置及目录结构、安装以及管理命令详解）Mycat高级特性（读写分离概述、搭建读写分离、MySQL双主双从原理）】(三)-全面详解（学习总结---从入门到深化）
Mycat【Mycat部署安装（核心配置及目录结构、安装以及管理命令详解）Mycat高级特性（读写分离概述、搭建读写分离、MySQL双主双从原理）】(三)-全面详解（学习总结---从入门到深化）
童小纯
665 0
非著名运维
|
关系型数据库 MySQL 中间件
企业实战（10）基于Maxscale中间件实现Mysql读写分离实战
企业实战（10）基于Maxscale中间件实现Mysql读写分离实战
非著名运维
239 0
.29.
|
7月前
|
SQL 关系型数据库 MySQL
②⑩① 【MySQL】什么是分库分表？拆分策略有什么？什么是MyCat？
②⑩① 【MySQL】什么是分库分表？拆分策略有什么？什么是MyCat？
.29.
110 0
warmhearted
|
5月前
|
监控 中间件 关系型数据库
中间件MySQL性能瓶颈
【7月更文挑战第13天】
warmhearted
66 12
jianz123
|
4月前
|
cobar 关系型数据库 MySQL
使用MyCat实现MySQL主从读写分离（一）概述
【8月更文挑战第11天】MySQL读写分离通过主从复制分散负载，主库负责写操作，从库承担读查询，以复制技术确保数据一致性。此策略有效缓解锁竞争，提升查询效能并增强系统可用性。实现方式包括应用层处理，简便快捷但灵活性受限；或采用中间件如MyCAT、Vitess等，支持复杂场景但需专业团队维护。
jianz123
144 0
我是廖志伟
|
消息中间件 NoSQL 关系型数据库
【Kubernetes部署Shardingsphere、Mycat、Mysql、Redis、中间件Rocketmq、Rabbitmq、Nacos】
【Kubernetes部署Shardingsphere、Mycat、Mysql、Redis、中间件Rocketmq、Rabbitmq、Nacos】
我是廖志伟
277 0
渐暖
|
7月前
|
中间件 关系型数据库 MySQL
【中间件】mycat读写分离分析
【中间件】mycat读写分离分析
渐暖
64 0
终有救赎
|
7月前
|
缓存 NoSQL 关系型数据库
【中间件】Redis与MySQL双写一致性如何保证？--缓存和数据库在双写场景下一致性是如何保证的
【中间件】Redis与MySQL双写一致性如何保证？--缓存和数据库在双写场景下一致性是如何保证的
终有救赎
363 0
【中间件】Redis与MySQL双写一致性如何保证？--缓存和数据库在双写场景下一致性是如何保证的
宁在春
|
7月前
|
中间件 关系型数据库 MySQL
史上最详细Docker安装Mycat中间件 | 实现主从的读写分离
史上最详细Docker安装Mycat中间件 | 实现主从的读写分离
宁在春
448 2

热门文章

最新文章

  • 1
    RDS入门——Excel文件转存到RDS数据库实践
  • 2
    PostgreSQL SQL HINT的使用
  • 3
    MySql进阶使用之视图、索引（详解）
  • 4
    Mysql5.7使用DTS增量同步数据到MaxCompute
  • 5
    mysql中的时间函数---运维常用
  • 6
    mysql--索引 （查询）
  • 7
    mysql索引优化
  • 8
    MYSQL 逗号分割字段行转列
  • 9
    MySQL学习之流程函数
  • 10
    Linux下MySQL的基础（一）
  • 1
    中间件Write-Through Cache（直写缓存）策略
    111
  • 2
    中间件Read-Through Cache（直读缓存）策略
    69
  • 3
    中间件Cache-Aside（旁路缓存）策略中间件Cache-Aside（旁路缓存）策略
    200
  • 4
    中间件缓存一致性
    59
  • 5
    中间件缓存失效策略
    45
  • 6
    中间件缓存策略类型
    54
  • 7
    中间件缓存击穿和缓存雪崩
    58
  • 8
    中间件选择合适的缓存策略
    88
  • 9
    中间件明确缓存目标
    49
  • 10
    中间件应用合理使用缓存和数据结构
    102

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • 金融分布式中间件分享
  • 无需部署的前端中间件技术——企业移动化新思路
  • 《云原生中间件精品案例集》

    • 相关实验场景

    更多
  • MySQL基础-学生管理系统数据库设计
  • 如何快速连接云数据库RDS MySQL
  • MySQL数据库快速部署实践
  • MySQL引擎及架构优化
  • 基于EBS部署高性能的MySQL服务
  • 使用CloudLens采集RDS日志并进行审计分析

    • 推荐镜像

    更多
  • mysql
  • mongodb
  • mariadb
    • 下一篇
    DataWorks