AI 助理
备案控制台
开发者社区 数据库 文章 正文

MySQL 高可用：mysql+mycat实现数据库分片（分库分表）

2018-07-20 2038
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
云数据库 RDS PostgreSQL，集群系列 2核4GB
简介： MySQL 高可用：mysql+mycat实现数据库分片（分库分表） 什么是MYCAT： 一个彻底开源的，面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 一个新颖的数据库中间件产品  Mycat关键特性 ： 支持SQL92标准 遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。

MySQL 高可用：mysql+mycat实现数据库分片（分库分表）

什么是MYCAT：

一个彻底开源的，面向企业应用开发的大数据库集群

支持事务、ACID、可以替代MySQL的加强版数据库

一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群

一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品


 Mycat关键特性 ：

支持SQL92标准

遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。

基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。

支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster

基于Nio实现，有效管理线程，高并发问题。

支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。

支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。

支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。

支持多租户方案。

支持分布式事务（弱xa）。

支持全局序列号，解决分布式下的主键生成问题。

分片规则丰富，插件化开发，易于扩展。

强大的web，命令行监控。

支持前端作为mysq通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。

支持密码加密

支持服务降级

支持IP白名单

支持SQL黑名单、sql注入攻击拦截

支持分表（1.6）

集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。


（官方说明参考：Mycat 数据库分库分表中间件 ）


JDK 下载（建议要求jdk7及以上）：

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

Linux x86 147.68 MB jdk-7u80-linux-i586.tar.gz


MyCAT 相关：

Mycat 捐赠地址：http://www.mycat.io/donate.html

Mycat 官斱网站：http://www.mycat.io/

Mycat 源码：https://github.com/MyCATApache/Mycat-Server

Mycat 下载地址：https://github.com/MyCATApache/Mycat-download



既然 mycat  那么强大，那就测试看看：


#测试环境：

# 有3张表 users,item,item_detail (item 的子表) 和 3 个数据库 db01,db02,db03

# 表 users 存储在数据库 db01, 表 item 和 item_detail 分布存储在数据 db01 和 db02 

# 现在在3个数据库都创建相同的表
create database db01;
create database db02;
create database db03;
CREATE TABLE users (
id INT NOT NULL AUTO_INCREMENT,
name varchar(50) NOT NULL default '',
indate DATETIME NOT NULL default '0000-00-00 00:00:00',
PRIMARY KEY (id)
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE item (
id INT NOT NULL AUTO_INCREMENT,
value INT NOT NULL default 0,
indate DATETIME NOT NULL default '0000-00-00 00:00:00',
PRIMARY KEY (id)
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE item_detail (
id INT NOT NULL AUTO_INCREMENT,
value INT NOT NULL default 0,
name varchar(50) NOT NULL default '',
item_id INT NOT NULL,
PRIMARY KEY (id),
key (item_id)
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;


# JDK 安装配置
cd /usr/local/src
tar xvf jdk-7u80-linux-i586.tar.gz
mkdir -p /usr/local/java
mv /usr/local/src/jdk1.7.0_80 /usr/local/java/
chown -R root:root /usr/local/java
cd /usr/local/java/

#配置环境变量
vi /etc/profile
vi ~/.bash_profile
export JAVA_HOME=/usr/local/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#设置生效
source /etc/profile
source ~/.bash_profile

#测试是否安装成功
[root@server1 ~]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) Client VM (build 24.80-b11, mixed mode)


# Mycat 安装配置
cd /usr/local/src
tar xvf Mycat-server-1.5.1-RELEASE-20160405120037-linux.tar.gz
mv /usr/local/src/mycat /usr/local/
groupadd mycat
useradd -g mycat mycat
passwd mycat
chown -R mycat.mycat /usr/local/mycat

#添加环境变量
vi /etc/profile
vi ~/.bash_profile
export MYCAT_HOME=/usr/local/mycat

#设置生效（最好重启系统）
source /etc/profile
source ~/.bash_profile

#服务器名和IP绑定 
vi /etc/hosts
192.168.100.50	server1
127.0.0.1       server1

# 设置 wrapper.java.command 的java 路径

 ( 同时可设置 -Xmx 和 -Xms ，参考： mycat 启动失败 The specified size exceeds the maximum representable size)
vi /usr/local/mycat/conf/wrapper.conf
wrapper.java.command=%JAVA_HOME%/bin/java

#配置 server.xml 和 schema.xml  (本案例配置信息在文章底部)
vi /usr/local/mycat/conf/server.xml
vi /usr/local/mycat/conf/schema.xml

#启动mycat服务 ./mycat  { console | start | stop | restart | status | dump } 
/usr/local/mycat/bin/mycat console
#mycat 进程
ps -ef | grep mycat
#日子信息
tail -20 /usr/local/mycat/logs/wrapper.log


测试：

#访问 mycat   (凭据参考 /usr/local/mycat/conf/server.xml)

mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB
mysql> show databases;
+----------+
| DATABASE |
+----------+
| TESTDB |
+----------+
mysql> show tables;
+------------------+
| Tables in TESTDB |
+------------------+
| item |
| item_detail |
| users |
+------------------+

#在 mycat 中插入数据并查询：
insert into users(name,indate) values('kk',now());
insert into item(id,value,indate) values(1,100,now());
insert into item_detail(value,name,item_id) values('pad',40,1);
insert into item_detail(value,name,item_id) values('phone',50,1);
insert into item(id,value,indate) values(999,100,now());
insert into item_detail(value,name,item_id) values('pad',40,999);
insert into item_detail(value,name,item_id) values('phone',50,999);
mysql> select * from users;
+----+------+---------------------+
| id | name | indate |
+----+------+---------------------+
| 1 | kk | 2016-04-13 06:28:00 |
+----+------+---------------------+
mysql> select * from item;
+-----+-------+---------------------+
| id | value | indate |
+-----+-------+---------------------+
| 999 | 100 | 2016-04-13 06:34:12 |
| 1 | 100 | 2016-04-13 06:32:58 |
+-----+-------+---------------------+
mysql> select * from item_detail;
+----+-------+------+---------+
| id | value | name | item_id |
+----+-------+------+---------+
| 1 | 0 | 40 | 999 |
| 2 | 0 | 50 | 999 |
| 1 | 0 | 40 | 1 |
| 2 | 0 | 50 | 1 |
+----+-------+------+---------+


#打开另一个终端，使用mysql账号登陆访问查看表情况 
mysql -uroot -ptest -p

#具体的表数据存储情况：
-----------------------------------------
mysql> select * from db01.users;
+----+------+---------------------+
| id | name | indate |
+----+------+---------------------+
| 1 | kk | 2016-04-13 06:28:00 |
+----+------+---------------------+
mysql> select * from db02.users;
mysql> select * from db03.users;
-----------------------------------------
mysql> select * from db01.item;
mysql> select * from db02.item;
+-----+-------+---------------------+
| id | value | indate |
+-----+-------+---------------------+
| 999 | 100 | 2016-04-13 06:34:12 |
+-----+-------+---------------------+
mysql> select * from db03.item;
+----+-------+---------------------+
| id | value | indate |
+----+-------+---------------------+
| 1 | 100 | 2016-04-13 06:32:58 |
+----+-------+---------------------+
-----------------------------------------
mysql> select * from db01.item_detail;
mysql> select * from db02.item_detail;
+----+-------+------+---------+
| id | value | name | item_id |
+----+-------+------+---------+
| 1 | 0 | 40 | 999 |
| 2 | 0 | 50 | 999 |
+----+-------+------+---------+
mysql> select * from db03.item_detail;
+----+-------+------+---------+
| id | value | name | item_id |
+----+-------+------+---------+
| 1 | 0 | 40 | 1 |
| 2 | 0 | 50 | 1 |
+----+-------+------+---------+


测试完成！！~数据进行了分库分表！
------------------------------------------------------------------------------------

------------------------------------------------------------------------------------

# server.xml 和 schema.xml 配置情况
# vi /usr/local/mycat/conf/server.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://org.opencloudb/">
<system>
<!--
<property name="processors">32</property>
<property name="processorExecutor">32</property>
<property name="bindIp">0.0.0.0</property>
<property name="frontWriteQueueSize">4096</property>
<property name="idleTimeout">300000</property>
<property name="mutiNodePatchSize">100</property>
-->
<property name="defaultSqlParser">druidparser</property>
<property name="mutiNodeLimitType">1</property>
<property name="serverPort">8066</property>
<property name="managerPort">9066</property>
</system>
<!-- 任意设置登陆 mycat 的用户名,密码,数据库 -->
<user name="test">
<property name="password">test</property>
<property name="schemas">TESTDB</property>
</user>
<user name="user">
<property name="password">user</property>
<property name="schemas">TESTDB</property>
<property name="readOnly">true</property>
</user>
<!--
<quarantine>
<whitehost>
<host host="127.0.0.1" user="mycat"/>
<host host="127.0.0.2" user="mycat"/>
</whitehost>
<blacklist check="false"></blacklist>
</quarantine>
-->
</mycat:server>
# vi /usr/local/mycat/conf/schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">
<!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致 -->
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<table name="users" primaryKey="id" type="global" dataNode="node_db01" />
<table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">
<childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />
</table>
</schema>
<!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost -->
<dataNode name="node_db01" dataHost="dataHost01" database="db01" />
<dataNode name="node_db02" dataHost="dataHost01" database="db02" />
<dataNode name="node_db03" dataHost="dataHost01" database="db03" />
<!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 -->
<dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>
</dataHost>
</mycat:schema>
原文地址https://blog.csdn.net/kk185800961/article/details/51147029
文章标签：
云数据库 RDS MySQL 版
关系型数据库
数据库
Java
MySQL
SQL
关键词：
云数据库 RDS MySQL 版数据库
mysql数据库
数据库mysql
数据库分片
高可用数据库
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
优惠码优惠
目录
相关文章
叫个什么名字
|
18天前
|
NoSQL 关系型数据库 MySQL
微服务架构下的数据库选择：MySQL、PostgreSQL 还是 NoSQL？
在微服务架构中，数据库的选择至关重要。不同类型的数据库适用于不同的需求和场景。在本文章中，我们将深入探讨传统的关系型数据库（如 MySQL 和 PostgreSQL）与现代 NoSQL 数据库的优劣势，并分析在微服务架构下的最佳实践。
叫个什么名字
115 9
小王老师呀
|
20天前
|
存储 SQL 关系型数据库
使用MySQL Workbench进行数据库备份
【9月更文挑战第13天】以下是使用MySQL Workbench进行数据库备份的步骤：启动软件后，通过“Database”菜单中的“管理连接”选项配置并选择要备份的数据库。随后，选择“数据导出”，确认导出的数据库及格式（推荐SQL格式），设置存储路径，点击“开始导出”。完成后，可在指定路径找到备份文件，建议定期备份并存储于安全位置。
小王老师呀
160 11
2的n次方_
|
15天前
|
存储 SQL 关系型数据库
MySQL的安装&数据库的简单操作
本文介绍了数据库的基本概念及MySQL的安装配置。首先解释了数据库、数据库管理系统和SQL的概念，接着详细描述了MySQL的安装步骤及其全局配置文件my.ini的调整方法。文章还介绍了如何启动MySQL服务，包括配置环境变量和使用命令行的方法。最后，详细说明了数据库的各种操作，如创建、选择和删除数据库的SQL语句，并提供了实际操作示例。
2的n次方_
58 13
MySQL的安装&数据库的简单操作
程序员小海绵
|
21天前
|
存储 SQL 关系型数据库
一篇文章搞懂MySQL的分库分表，从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案
MySQL如何进行分库分表、数据迁移？从相关概念、使用场景、拆分方式、分表字段选择、数据一致性校验等角度阐述MySQL数据库的分库分表方案。
程序员小海绵
90 14
一篇文章搞懂MySQL的分库分表，从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案
vohelon
|
2天前
|
关系型数据库 Unix MySQL
MySQL是一种关系型数据库管理系统
MySQL是一种关系型数据库管理系统
vohelon
11 2
糜终
|
5天前
|
Oracle NoSQL 关系型数据库
主流数据库对比：MySQL、PostgreSQL、Oracle和Redis的优缺点分析
主流数据库对比：MySQL、PostgreSQL、Oracle和Redis的优缺点分析
糜终
17 2
蓝易云
|
10天前
|
SQL 关系型数据库 MySQL
创建包含MySQL和SQLServer数据库所有字段类型的表的方法
创建一个既包含MySQL又包含SQL Server所有字段类型的表是一个复杂的任务，需要仔细地比较和转换数据类型。通过上述方法，可以在两个数据库系统之间建立起相互兼容的数据结构，为数据迁移和同步提供便利。这一过程不仅要考虑数据类型的直接对应，还要注意特定数据类型在不同系统中的表现差异，确保数据的一致性和完整性。
蓝易云
22 4
蓝易云
|
19天前
|
SQL 监控 关系型数据库
MySQL数据库中如何检查一条SQL语句是否被回滚
检查MySQL中的SQL语句是否被回滚需要综合使用日志分析、事务状态监控和事务控制语句。理解和应用这些工具和命令，可以有效地管理和验证数据库事务的执行情况，确保数据的一致性和系统的稳定性。此外，熟悉事务的ACID属性和正确设置事务隔离级别对于预防数据问题和解决事务冲突同样重要。
蓝易云
30 2
运营研究坊
|
22天前
|
存储 缓存 关系型数据库
MySQL 视图：数据库中的灵活利器
视图是数据库中的虚拟表，由一个或多个表的数据经筛选、聚合等操作生成。它不实际存储数据，而是动态从基础表中获取。视图可简化数据访问、增强安全性、提供数据独立性、实现可重用性并提高性能，是管理数据库数据的有效工具。
运营研究坊
22 0
源码星辰
|
22天前
|
SQL 关系型数据库 MySQL
MySQL技术安装配置、数据库与表的设计、数据操作解析
MySQL，作为最流行的关系型数据库管理系统之一，在WEB应用领域中占据着举足轻重的地位。本文将从MySQL的基本概念、安装配置、数据库与表的设计、数据操作解析，并通过具体的代码示例展示如何在实际项目中应用MySQL。
源码星辰
65 0

热门文章

最新文章

  • 1
    现场直击：中国人的数据库分支AliSQL开放源代码下载 功能新增秒杀场景优化、TokuDB
  • 2
    SQL Server中使用数据库快照的方式来完成测试环境中数据库的轻量级备份还原操作
  • 3
    （02）权限系统数据库总体规划
  • 4
    SQL Server 2008连接局域网内的SQL Server 2000数据库
  • 5
    Spring Boot 2.x基础教程：使用时序数据库InfluxDB
  • 6
    异步备份和还原数据库：.NET发现之旅（六）
  • 7
    自己写的php数据库类
  • 8
    数据库--一条SQL查询语句是如何执行的？
  • 9
    数据库设计系列1--事实发现
  • 10
    多层数据库开发十四:剖析几个MIDAS示范程序
  • 1
    为什么MySQL分页查询偏移量越大查询越慢
    209
  • 2
    MySQL的锁机制
    48
  • 3
    【Mysql】在多表查询过程中如果已经起了别名，就不能通过表名限定字段
    66
  • 4
    【MySQL-11】多表查询全解-【多表关系/内外自连接/子查询/多表查询案例链接】（可cv代码＆案例演示）
    86
  • 5
    【Mysql-12】一文解读【事务】-【基本操作/四大特性/并发事务问题/事务隔离级别】
    73
  • 6
    【MySQL-10】数据库函数-案例演示【字符串/数值/日期/流程控制函数】（代码演示＆可cv代码）
    443
  • 7
    【MySQL-10】DCL-数据控制语言-【管理用户＆权限控制】 （语法语句＆案例演示＆可cv案例代码）
    50
  • 8
    【MySQL-9】一文带你搞定 外键约束＆其【更新/删除行为】（可cv代码＆案例演示）
    163
  • 9
    【MySQL】DQL-案例练习-DQL基本介绍＆语法＆执行顺序（代码演示）
    51
  • 10
    【MySQL】DQL-排序查询-语法＆注意事项＆可cv例题语句
    51

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • 搭建电商项目架构连接MySQL
  • 搭建4层电商项目架构，实战连接MySQL
  • PolarDB MySQL引擎重磅功能及产品能力盛大发布

    • 相关实验场景

    更多
  • 灵活弹性的PolarDB Serverless确保数据业务持续在线
  • 云端MySQL的安装及应用
  • 体验PolarDB MySQL多主集群
  • 基于ECS+RDS的在线留言系统
  • 如何通过RDS MySQL数据库内网访问
  • MySQL数据库DTS迁移上云

    • 推荐镜像

    更多
  • mysql
  • postgresql
  • mongodb
    • 下一篇
    无影云桌面