特别干的干货!!《Mycat》搭建分布式数据库中间件看他就够

本文涉及的产品
Serverless 应用引擎 SAE,800核*时 1600GiB*时
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 根据官网的定义:Mycat是一个可以用于MySQL读写分离和高可用的中间件,一个模拟为MySQL Server的超级数据库,一个能平滑扩展支持1000亿大表的分布式数据库系统,一个可管控多种关系数据库的数据库路由器,一个平滑从关系数据升级到大数据的应用中间件。其前身是阿里的Cobar项目。介绍就不多说了,可以看官网http://www.mycat.org.cn/接下来我们实践吧。

一、Mycat

根据官网的定义:Mycat是一个可以用于MySQL读写分离和高可用的中间件,一个模拟为MySQL Server的超级数据库,一个能平滑扩展支持1000亿大表的分布式数据库系统,一个可管控多种关系数据库的数据库路由器,一个平滑从关系数据升级到大数据的应用中间件。其前身是阿里的Cobar项目。介绍就不多说了,可以看官网http://www.mycat.org.cn/接下来我们实践吧。


二、mysql配置


mysql节点A机器操作系统 : centos6.5 x64数据库 : mysql-5.1.73mycat版本 :1.5.1 release数据库名 : db1hostname: localhost.localdomainip:192.168.1.201

mysql节点B机器操作系统 : centos6.5 x64数据库 : mysql-5.1.73mycat版本 :1.5.1 release数据库名 : db2hostname: 202.localdomainip:192.168.1.202

开始前,要先建立实体库,逻辑库要在实体库上做分表。分别在两台机器上执行创建对应的库A上:CREATE database db1;B上:CREATE database db2;另外注意linux下数据库的名称是大小写敏感的,设置my.cnf内追加一行,使得都转为小写,这样在分库的时候就统一起来了vim /etc/my.cnflower_case_table_names = 1


三、安装mycat


1.安装


我们将mycat安装在A机器上由于官方的地址下载后无法解压,可能是他们编译出错了吧,所以我另外找了一个http://download.csdn.net/detail/socho/9571201,下载1.5.1版本,得到Mycat-server-1.5.1-RELEASE-20160509173344-linux.tar.gz然后一系列操作,你们都懂


tar -xzvf Mycat-server-1.5.1-RELEASE-20160509173344-linux.tar.gz
mkdri /home/mycat/app
mv mycat /usr/local/

设置环境变量

vim /etc/profile
exportMYCAT_HOME=/usr/local/mycat
PATH=$PATH:$MYCAT_HOME/bin

令修改生效

[mycat@c1 ~]$ source /etc/profile

测试是否配置成功

[mycat@c1 ~]$ echo$MYCAT_HOME/usr/local/mycat

配置逻辑库(schema)和逻辑表(table),打开conf/schema.xml 每个属性的含义请参考权威指南,这里给出基本的

<?xmlversion="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schemaxmlns:mycat="http://org.opencloudb/"><schemaname="TESTDB"checkSQLschema="false"sqlMaxLimit="100"><!-- 需要分片的表,在节点dn1,dn2上分片,分片规则是auto-sharding-long --><tablename="travelrecord"dataNode="dn1,dn2"rule="auto-sharding-long"/><tablename="company"primaryKey="ID"dataNode="dn2,dn1"rule="mod-long"/><tablename="goods"primaryKey="ID"type="global"dataNode="dn1,dn2"/><tablename="hotnews"primaryKey="ID"dataNode="dn1,dn2"rule="mod-long"/><tablename="employee"primaryKey="ID"dataNode="dn1,dn2"rule="sharding-by-intfile"/><tablename="customer"primaryKey="ID"dataNode="dn1,dn2"rule="sharding-by-intfile"><childTablename="orders"primaryKey="ID"joinKey="customer_id"parentKey="id"><childTablename="order_items"joinKey="order_id"parentKey="id"/></childTable><childTablename="customer_addr"primaryKey="ID"joinKey="customer_id"parentKey="id"/></table></schema><dataNodename="dn1"dataHost="201.liberalman.cn"database="db1"/><dataNodename="dn2"dataHost="202.liberalman.cn"database="db2"/><dataHostname="201.liberalman.cn"maxCon="1000"minCon="10"balance="0"writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"><!-- 心跳包 --><heartbeat>select user()</heartbeat><!-- 后端mysql配置 --><writeHosthost="hostM1"url="localhost:3306"user="socho"password="Looks137"></writeHost></dataHost><dataHostname="202.liberalman.cn"maxCon="1000"minCon="10"balance="0"writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"><!-- 心跳包 --><heartbeat>select user()</heartbeat><writeHosthost="hostM1"url="localhost:3306"user="socho"password="Looks137"></writeHost></dataHost></mycat:schema>

上面配置的是连接后端mysql的配置,然后我们还要配置访问MyCAT的用户账号和授权信息,打开conf/server.xml

<?xmlversion="1.0" encoding="UTF-8"?><!DOCTYPE mycat:server SYSTEM "server.dtd"><mycat:serverxmlns:mycat="http://org.opencloudb/"><system><propertyname="defaultSqlParser">druidparser</property></system><username="test"><propertyname="password">test</property><propertyname="schemas">TESTDB</property></user><username="user"><propertyname="password">user</property><propertyname="schemas">TESTDB</property><propertyname="readOnly">true</property></user></mycat:server>


启动

[mycat@c1 ~]$ mycat start
Starting Mycat-server...

如果启动遇到问题,请查阅日志logs目录下的文件。默认数据端口为8066,管理端口为9066。好,我们用一个客户端连接下mysql -h192.168.1.201 -P8066 -utest -DTESTDB -ptest


2.测试


连上后就可以当初一个mysql数据库来操作了,后端逻辑对用户透明,建表:

mysql>createtable employee (id intnotnull primary key,name varchar(100),sharding_id intnotnull);Query OK,0 rows affected (0.05 sec)


成功后,插入数据:

mysql>insertinto employee(id,name,sharding_id)values(1,'leader us',10000);insertinto employee(id,name,sharding_id)values(2,'me',10010);insertinto employee(id,name,sharding_id)values(3,'mycat',10000);insertinto employee(id,name,sharding_id)values(4,'mydog',10010);Query OK,1 row affected (0.04 sec)Query OK,1 row affected (0.01 sec)Query OK,1 row affected (0.00 sec)Query OK,1 row affected (0.00 sec)


查看下结果

mysql>select*from employee;+----+-----------+-------------+| id | name      | sharding_id |+----+-----------+-------------+|1| leader us |10000||3| mycat     |10000||2| me        |10010||4| mydog     |10010|+----+-----------+-------------+4 rows inset(0.01 sec)


这时候分别到数据DB1,DB2查看,DB1数据

mysql> use db1;mysql>select*from employee;+----+-----------+-------------+| id | name      | sharding_id |+----+-----------+-------------+|1| leader us |10000||3| mycat     |10000|+----+-----------+-------------+2 rows inset(0.00 sec)


DB2数据

mysql> use db2;mysql>select*from employee;+----+-------+-------------+| id | name  | sharding_id |+----+-------+-------------+|2| me    |10010||4| mydog |10010|+----+-------+-------------+2 rows inset(0.00 sec)


我们终于看到,说明分片成功了,哈哈,两个数据库各一半数据。从schema.xml配置中看到,employee表是根据规则sharding-by-intfile(分片字段为sharding_id)进行分片,所以A中都是sharding_id=10000的数据,B中是sharding_id=10010。运行explain指令,可以看到SQL在哪些分片节点执行的情况:


mysql> explain createtable employee (id intnotnull primary key,name varchar(100),sharding_id intnotnull);+-----------+------------------------------------------------------------------------------------------------+| DATA_NODE | SQL                                                                                            |+-----------+------------------------------------------------------------------------------------------------+| dn1       |createtable employee (id intnotnull primary key,name varchar(100),sharding_id intnotnull)|| dn2       |createtable employee (id intnotnull primary key,name varchar(100),sharding_id intnotnull)|+-----------+------------------------------------------------------------------------------------------------+2 rows inset(0.00 sec)


explain不会真的执行的,放心试试吧!

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
11天前
|
分布式计算 Java Hadoop
杨校老师课堂之分布式数据库HBase的部署和基本操作
杨校老师课堂之分布式数据库HBase的部署和基本操作
22 0
|
26天前
|
监控 NoSQL 数据建模
使用Apache Cassandra进行分布式数据库管理的技术实践
【6月更文挑战第5天】本文探讨了使用Apache Cassandra进行分布式数据库管理的技术实践。Cassandra是一款高性能、可扩展的NoSQL数据库,适合大规模、高并发场景。文章介绍了其高可扩展性、高性能、高可用性和灵活数据模型等核心特性,并详细阐述了环境准备、安装配置、数据建模与查询以及性能优化与监控的步骤。通过本文,读者可掌握Cassandra的运用,适应不断增长的数据需求。
|
3天前
|
网络协议 安全 分布式数据库
技术分享:分布式数据库DNS服务器的架构思路
技术分享:分布式数据库DNS服务器的架构思路
8 0
|
4天前
|
关系型数据库 MySQL 数据库
深入OceanBase分布式数据库:MySQL 模式下的 SQL 基本操作
深入OceanBase分布式数据库:MySQL 模式下的 SQL 基本操作
|
4天前
|
存储 分布式数据库 数据库
深入OceanBase内部机制:分区构建高可用、高性能的分布式数据库基石
深入OceanBase内部机制:分区构建高可用、高性能的分布式数据库基石
|
4天前
|
存储 关系型数据库 MySQL
深入OceanBase内部机制:高性能分布式(实时HTAP)关系数据库概述
深入OceanBase内部机制:高性能分布式(实时HTAP)关系数据库概述
|
25天前
|
存储 安全 关系型数据库
分布式数据库的性能和安全麻烦
【6月更文挑战第6天】该文探讨了分布式系统中节点交互的两种方式,并对比mysql和oracle两个数据库的CAP平衡模式。
46 0
分布式数据库的性能和安全麻烦
|
13天前
|
存储 NoSQL Java
HBase是一个开源的、分布式的、面向列的NoSQL数据库系统
HBase是一个开源的、分布式的、面向列的NoSQL数据库系统
40 0
|
19天前
|
存储 分布式计算 Hadoop
【大数据】分布式数据库HBase下载安装教程
【大数据】分布式数据库HBase下载安装教程
31 0