AI 助理
文档备案控制台
开发者社区 数据库 文章 正文

MySQL 高可用：mysql+mycat实现数据库分片（分库分表）

2017-11-27 2464
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

什么是MYCAT：

一个彻底开源的，面向企业应用开发的大数据库集群

支持事务、ACID、可以替代MySQL的加强版数据库

一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群

一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品


 Mycat关键特性 ：

支持SQL92标准

遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。

基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。

支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster

基于Nio实现，有效管理线程，高并发问题。

支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。

支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。

支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。

支持多租户方案。

支持分布式事务（弱xa）。

支持全局序列号，解决分布式下的主键生成问题。

分片规则丰富，插件化开发，易于扩展。

强大的web，命令行监控。

支持前端作为mysq通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 MongoDB 、巨杉。

支持密码加密

支持服务降级

支持IP白名单

支持SQL黑名单、sql注入攻击拦截

支持分表（1.6）

集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。


（官方说明参考：Mycat 数据库分库分表中间件 ）


JDK 下载（建议要求jdk7及以上）：

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

Linux x86 147.68 MB jdk-7u80-linux-i586.tar.gz


MyCAT 相关：

Mycat 捐赠地址：http://www.mycat.io/donate.html

Mycat 官斱网站：http://www.mycat.io/

Mycat 源码：https://github.com/MyCATApache/Mycat-Server

Mycat 下载地址：https://github.com/MyCATApache/Mycat-download



既然 mycat  那么强大，那就测试看看：


#测试环境：

# 有3张表 users,item,item_detail (item 的子表) 和 3 个数据库 db01,db02,db03

# 表 users 存储在数据库 db01, 表 item 和 item_detail 分布存储在数据 db01 和 db02 

# 现在在3个数据库都创建相同的表

[sql] view plain copy 在CODE上查看代码片派生到我的代码片

  1. create database db01;  

  2. create database db02;  

  3. create database db03;  

  4.   

  5. CREATE TABLE users (  

  6.     id INT NOT NULL AUTO_INCREMENT,  

  7.     name varchar(50) NOT NULL default '',  

  8.     indate DATETIME NOT NULL default '0000-00-00 00:00:00',  

  9.     PRIMARY KEY (id)  

  10. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  

  11.   

  12. CREATE TABLE item (  

  13.     id INT NOT NULL AUTO_INCREMENT,  

  14.     value INT NOT NULL default 0,  

  15.     indate DATETIME NOT NULL default '0000-00-00 00:00:00',  

  16.     PRIMARY KEY (id)  

  17. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  

  18.   

  19. CREATE TABLE item_detail (  

  20.     id INT NOT NULL AUTO_INCREMENT,  

  21.     value INT NOT NULL default 0,  

  22.     name varchar(50) NOT NULL default '',  

  23.     item_id INT NOT NULL,  

  24.     PRIMARY KEY (id),  

  25.     key (item_id)  

  26. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  



# JDK 安装配置

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. cd /usr/local/src  

  2. tar xvf jdk-7u80-linux-i586.tar.gz  

  3. mkdir -p /usr/local/java  

  4. mv /usr/local/src/jdk1.7.0_80 /usr/local/java/  

  5. chown -R root:root /usr/local/java  

  6. cd /usr/local/java/  


#配置环境变量

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. vi /etc/profile   

  2. vi ~/.bash_profile  

  3.   

  4. export JAVA_HOME=/usr/local/java/jdk1.7.0_80  

  5. export PATH=$PATH:$JAVA_HOME/bin  

  6. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  


#设置生效（最好重启系统）

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. source /etc/profile  

  2. source ~/.bash_profile  


#测试是否安装成功

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. [root@server1 ~]# java -version  

  2. java version "1.7.0_80"  

  3. Java(TM) SE Runtime Environment (build 1.7.0_80-b15)  

  4. Java HotSpot(TM) Client VM (build 24.80-b11, mixed mode)  



# Mycat 安装配置

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. cd /usr/local/src  

  2. tar xvf Mycat-server-1.5.1-RELEASE-20160405120037-linux.tar.gz   

  3. mv /usr/local/src/mycat /usr/local/  

  4.   

  5. groupadd mycat  

  6. useradd -g mycat mycat  

  7. passwd mycat  

  8. chown -R mycat.mycat /usr/local/mycat  


#添加环境变量

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. vi /etc/profile  

  2. vi ~/.bash_profile  

  3.   

  4. export MYCAT_HOME=/usr/local/mycat  


#设置生效（最好重启系统）

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. source /etc/profile  

  2. source ~/.bash_profile  


#服务器名和IP绑定

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. vi /etc/hosts  

  2. 192.168.100.50  server1  

  3. 127.0.0.1       server1  


# 设置 wrapper.java.command 的java 路径

 ( 同时可设置 -Xmx 和 -Xms ，参考： mycat 启动失败 The specified size exceeds the maximum representable size)

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. vi /usr/local/mycat/conf/wrapper.conf  

  2.   

  3. wrapper.java.command=%JAVA_HOME%/bin/java  


#配置 server.xml 和 schema.xml  (本案例配置信息在文章底部)

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. vi /usr/local/mycat/conf/server.xml  

  2. vi /usr/local/mycat/conf/schema.xml  


#启动mycat服务 ./mycat { console | start | stop | restart | status | dump }

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. /usr/local/mycat/bin/mycat console  


[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. #mycat 进程  

  2. ps -ef | grep mycat  

  3.   

  4. #日子信息  

  5. tail -20 /usr/local/mycat/logs/wrapper.log  



测试：

#访问 mycat   (凭据参考 /usr/local/mycat/conf/server.xml)

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB  


[sql] view plain copy 在CODE上查看代码片派生到我的代码片

  1. mysql> show databases;  

  2. +----------+  

  3. | DATABASE |  

  4. +----------+  

  5. | TESTDB   |   

  6. +----------+  

  7.   

  8. mysql> show tables;  

  9. +------------------+  

  10. | Tables in TESTDB |  

  11. +------------------+  

  12. | item             |   

  13. | item_detail      |   

  14. | users            |   

  15. +------------------+  


#在 mycat 中插入数据并查询：

[sql] view plain copy 在CODE上查看代码片派生到我的代码片

  1. insert into users(name,indate) values('kk',now());  

  2. insert into item(id,value,indate) values(1,100,now());  

  3. insert into item_detail(value,name,item_id) values('pad',40,1);  

  4. insert into item_detail(value,name,item_id) values('phone',50,1);  

  5.   

  6. insert into item(id,value,indate) values(999,100,now());  

  7. insert into item_detail(value,name,item_id) values('pad',40,999);  

  8. insert into item_detail(value,name,item_id) values('phone',50,999);  

[sql] view plain copy 在CODE上查看代码片派生到我的代码片

  1. mysql> select * from users;  

  2. +----+------+---------------------+  

  3. | id | name | indate              |  

  4. +----+------+---------------------+  

  5. |  1 | kk   | 2016-04-13 06:28:00 |   

  6. +----+------+---------------------+  

  7.   

  8. mysql> select * from item;  

  9. +-----+-------+---------------------+  

  10. | id  | value | indate              |  

  11. +-----+-------+---------------------+  

  12. | 999 |   100 | 2016-04-13 06:34:12 |   

  13. |   1 |   100 | 2016-04-13 06:32:58 |   

  14. +-----+-------+---------------------+  

  15.   

  16. mysql> select * from item_detail;  

  17. +----+-------+------+---------+  

  18. | id | value | name | item_id |  

  19. +----+-------+------+---------+  

  20. |  1 |     0 | 40   |     999 |   

  21. |  2 |     0 | 50   |     999 |   

  22. |  1 |     0 | 40   |       1 |   

  23. |  2 |     0 | 50   |       1 |   

  24. +----+-------+------+---------+  



#打开另一个终端，使用mysql账号登陆访问查看表情况

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. mysql -uroot -ptest -p  


#具体的表数据存储情况：

[sql] view plain copy 在CODE上查看代码片派生到我的代码片

  1. -----------------------------------------  

  2. mysql> select * from db01.users;  

  3. +----+------+---------------------+  

  4. | id | name | indate              |  

  5. +----+------+---------------------+  

  6. |  1 | kk   | 2016-04-13 06:28:00 |   

  7. +----+------+---------------------+  

  8.   

  9. mysql> select * from db02.users;  

  10.   

  11. mysql> select * from db03.users;  

  12.   

  13. -----------------------------------------  

  14.   

  15. mysql> select * from db01.item;  

  16.   

  17. mysql> select * from db02.item;  

  18. +-----+-------+---------------------+  

  19. | id  | value | indate              |  

  20. +-----+-------+---------------------+  

  21. | 999 |   100 | 2016-04-13 06:34:12 |   

  22. +-----+-------+---------------------+  

  23.   

  24. mysql> select * from db03.item;  

  25. +----+-------+---------------------+  

  26. | id | value | indate              |  

  27. +----+-------+---------------------+  

  28. |  1 |   100 | 2016-04-13 06:32:58 |   

  29. +----+-------+---------------------+  

  30.   

  31. -----------------------------------------  

  32.   

  33. mysql> select * from db01.item_detail;  

  34.   

  35. mysql> select * from db02.item_detail;  

  36. +----+-------+------+---------+  

  37. | id | value | name | item_id |  

  38. +----+-------+------+---------+  

  39. |  1 |     0 | 40   |     999 |   

  40. |  2 |     0 | 50   |     999 |   

  41. +----+-------+------+---------+  

  42.   

  43. mysql> select * from db03.item_detail;  

  44. +----+-------+------+---------+  

  45. | id | value | name | item_id |  

  46. +----+-------+------+---------+  

  47. |  1 |     0 | 40   |       1 |   

  48. |  2 |     0 | 50   |       1 |   

  49. +----+-------+------+---------+  


测试完成！！~数据进行了分库分表！
------------------------------------------------------------------------------------

------------------------------------------------------------------------------------

# server.xml 和 schema.xml 配置情况

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. # vi /usr/local/mycat/conf/server.xml  

  2.   

  3. <?xml version="1.0" encoding="UTF-8"?>  

  4. <!DOCTYPE mycat:server SYSTEM "server.dtd">  

  5. <mycat:server xmlns:mycat="http://org.opencloudb/">  

  6.         <system>  

  7.             <!--   

  8.                 <property name="processors">32</property>  

  9.                 <property name="processorExecutor">32</property>   

  10.                 <property name="bindIp">0.0.0.0</property>   

  11.                 <property name="frontWriteQueueSize">4096</property>  

  12.                 <property name="idleTimeout">300000</property>  

  13.                 <property name="mutiNodePatchSize">100</property>  

  14.             -->  

  15.                 <property name="defaultSqlParser">druidparser</property>  

  16.                 <property name="mutiNodeLimitType">1</property>  

  17.                 <property name="serverPort">8066</property>  

  18.                 <property name="managerPort">9066</property>   

  19.         </system>  

  20.         <!-- 任意设置登陆 mycat 的用户名,密码,数据库  -->  

  21.         <user name="test">  

  22.                 <property name="password">test</property>  

  23.                 <property name="schemas">TESTDB</property>  

  24.         </user>  

  25.   

  26.         <user name="user">  

  27.                 <property name="password">user</property>  

  28.                 <property name="schemas">TESTDB</property>  

  29.                 <property name="readOnly">true</property>  

  30.         </user>  

  31.         <!--   

  32.         <quarantine>   

  33.            <whitehost>  

  34.               <host host="127.0.0.1" user="mycat"/>  

  35.               <host host="127.0.0.2" user="mycat"/>  

  36.            </whitehost>  

  37.        <blacklist check="false"></blacklist>  

  38.         </quarantine>  

  39.         -->  

  40. </mycat:server>  


[plain] view plain copy 在CODE上查看代码片派生到我的代码片

  1. # vi /usr/local/mycat/conf/schema.xml  

  2.   

  3. <?xml version="1.0"?>  

  4. <!DOCTYPE mycat:schema SYSTEM "schema.dtd">  

  5. <mycat:schema xmlns:mycat="http://org.opencloudb/">  

  6.   

  7.     <!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致  -->  

  8.     <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">  

  9.         <table name="users" primaryKey="id" type="global" dataNode="node_db01" />  

  10.   

  11.         <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">  

  12.                 <childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />  

  13.         </table>  

  14.     </schema>  

  15.   

  16.     <!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost -->  

  17.     <dataNode name="node_db01" dataHost="dataHost01" database="db01" />  

  18.     <dataNode name="node_db02" dataHost="dataHost01" database="db02" />  

  19.     <dataNode name="node_db03" dataHost="dataHost01" database="db03" />  

  20.   

  21.     <!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 -->  

  22.     <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">  

  23.             <heartbeat>select user()</heartbeat>  

  24.             <writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>  

  25.     </dataHost>  

  26. </mycat:schema>  


本文转自 liqius 51CTO博客，原文链接：http://blog.51cto.com/szgb17/1911140，如需转载请自行联系原作者
文章标签：
云数据库 RDS MySQL 版
关系型数据库
数据库
Java
MySQL
SQL
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发，帮助IT从业者们通过“阿里云Web应用上云解决方案”，了解一个企业级Web应用上云的常见架构，了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品：云数据库RDS MySQL 版 阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
技术小阿哥
目录
相关文章
阿里云瑶池数据库_
|
存储 关系型数据库 分布式数据库
登顶TPC-C｜云原生数据库PolarDB技术揭秘：高可用-无感切换篇
「PolarDB登顶TPC-C技术揭秘」系列硬核文章
阿里云瑶池数据库_
806 0
叫个什么名字
|
存储 负载均衡 安全
高效管理大型数据库：分片与复制的策略与实践
在当今数据驱动的世界中，管理和优化大型数据库系统是每个企业的关键任务。特别是在面对数据量迅速增长的情况下，如何确保系统的高可用性和性能成为重要挑战。本文探讨了两种核心技术——分片（Sharding）和复制（Replication），以及它们在实际应用中的策略与实践。通过对比这两种技术的优缺点，并结合具体案例分析，本文旨在为数据库管理员和开发者提供一套高效管理大型数据库的综合方案。
叫个什么名字
396 1
数据库知识分享者小北
|
存储 关系型数据库 分布式数据库
登顶TPC-C｜云原生数据库PolarDB技术揭秘：高可用-无感切换篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录，单位成本仅0.8元人民币。PolarDB通过VotingDisk实现秒级故障切换，RPO=0，提供高可用性。PolarDB还推出国产轻量版，兼具高性能与低成本，满足多样化需求。
数据库知识分享者小北
1248 13
探索云世界动手实践
|
监控 关系型数据库 MySQL
云数据库：从零到一，构建高可用MySQL集群
在互联网时代，数据成为企业核心资产，传统单机数据库难以满足高并发、高可用需求。云数据库通过弹性扩展、分布式架构等优势解决了这些问题，但也面临数据安全和性能优化挑战。本文介绍了如何从零开始构建高可用MySQL集群，涵盖选择云服务提供商、创建实例、配置高可用架构、数据备份恢复及性能优化等内容，并通过电商平台案例展示了具体应用。
探索云世界动手实践
741 1
WangBai
|
存储 数据管理 关系型数据库
数据库分库分表的原因？
分库分表通过减少单库单表负担来提升查询性能。垂直切分按业务耦合度将表或列分布于不同库或表中，减少数据量，优化性能。水平切分则按数据逻辑关系将表分散至多库多表，减小单表数据量，实现分布式处理。选择方式需根据具体需求决定。
WangBai
555 19
程序员小海绵
|
存储 SQL 关系型数据库
一篇文章搞懂MySQL的分库分表，从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案
MySQL如何进行分库分表、数据迁移？从相关概念、使用场景、拆分方式、分表字段选择、数据一致性校验等角度阐述MySQL数据库的分库分表方案。
程序员小海绵
2607 15
一篇文章搞懂MySQL的分库分表，从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案
数据库知识学习者
|
人工智能 容灾 关系型数据库
【AI应用启航workshop】构建高可用数据库、拥抱AI智能问数
12月25日（周三）14:00-16:30参与线上闭门会，阿里云诚邀您一同开启AI应用实践之旅！
数据库知识学习者
513 6
游客mldfis24krfue
|
存储 监控 关系型数据库
在Linux中，如何设计一个高可用数据库系统？
在Linux中，如何设计一个高可用数据库系统？
游客mldfis24krfue
276 0
jianz123
|
cobar 关系型数据库 MySQL
使用MyCat实现MySQL主从读写分离（一）概述
【8月更文挑战第11天】MySQL读写分离通过主从复制分散负载，主库负责写操作，从库承担读查询，以复制技术确保数据一致性。此策略有效缓解锁竞争，提升查询效能并增强系统可用性。实现方式包括应用层处理，简便快捷但灵活性受限；或采用中间件如MyCAT、Vitess等，支持复杂场景但需专业团队维护。
jianz123
574 0
土木林森
|
缓存 关系型数据库 MySQL
MySQL调优秘籍曝光！从索引到事务，全方位解锁高可用秘诀，让你的数据库性能飞起来！
【8月更文挑战第6天】MySQL是顶级关系型数据库之一，其性能直接影响应用的高可用性与用户体验。本文聚焦MySQL的高性能调优，从索引设计到事务管理，逐一解析。介绍如何构建高效索引，如联合索引`CREATE INDEX idx_order_customer ON orders(order_id, customer_id);`，以及索引覆盖查询等技术。
土木林森
343 0

热门文章

最新文章

  • 1
    【独家直播】洞见数据库前沿 集结阿里云数据库最强阵容 DTCC 2019 八大亮点抢先看
  • 2
    Windows下PostgreSQL数据库的安装和配置
  • 3
    【玩转ElasticSearch】降维打击！使用ElasticSearch作为时序数据库
  • 4
    「直播实录」中英数据库专家谈：数据库的过去、未来和现在
  • 5
    Jasypt加密数据库配置信息
  • 6
    数据库记录锁表锁实际研究笔记 --- MSSQLSERVER
  • 7
    数据库的创建和增删查改使用操作（超详细）
  • 8
    巧用shell脚本分析数据库用户
  • 9
    2023最新版 Navicat 16.2+系列安装和试用教程详解：轻松掌握最新版本的数据库管理工具连接Redis
  • 10
    为什么不建议把数据库部署在docker容器内？
  • 1
    【紧急救援】MySQL CPU 100%！一套组合拳教你快速定位并解决！
    1335
  • 2
    MySQL中日期和时间函数的使用指南
    609
  • 3
    MySQL 与 Redis 如何保证双写一致性？
    1183
  • 4
    【赵渝强老师】MySQL的事务隔离级别
    553
  • 5
    【Docker】（3）学习Docker中 镜像与容器数据卷、映射关系！手把手带你安装 MySql主从同步 和 Redis三主三从集群！并且进行主从切换与扩容操作，还有分析 哈希分区 等知识点！
    1049
  • 6
    MySQL源码编译安装
    2600
  • 7
    MySQL二进制包安装
    1993
  • 8
    MySQL包安装 -- SUSE系列（离线RPM包安装MySQL）
    1054
  • 9
    MySQL包安装 -- SUSE系列（SUSE资源库安装MySQL）
    1079
  • 10
    MySQL包安装 -- Debian系列（离线DEB包安装MySQL）
    4080

    • 相关课程

    更多
  • 瑶池数据库 Data Agent 入门实战课
  • 开源PolarDB分布式版部署实操
  • 阿里云DAS-您的专属AI专家，引领数据库自治驾驶
  • 数据库仓库升级交付实践指引
  • 数据库开源校企合作“数据库内核从入门到精通 ”系列课

    • 相关电子书

    更多
  • 国产数据库研制人才培养实践
  • 阿里云&信通院《Serverless数据库技术研究报告》
  • DTCC 2022大会集锦《云原生一站式数据库技术与实践》

    • 推荐镜像

    更多
  • mysql
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！