特别干的干货!!《Mycat》搭建分布式数据库中间件看他就够

本文涉及的产品
性能测试 PTS,5000VUM额度
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 根据官网的定义:Mycat是一个可以用于MySQL读写分离和高可用的中间件,一个模拟为MySQL Server的超级数据库,一个能平滑扩展支持1000亿大表的分布式数据库系统,一个可管控多种关系数据库的数据库路由器,一个平滑从关系数据升级到大数据的应用中间件。其前身是阿里的Cobar项目。介绍就不多说了,可以看官网http://www.mycat.org.cn/接下来我们实践吧。

一、Mycat

根据官网的定义:Mycat是一个可以用于MySQL读写分离和高可用的中间件,一个模拟为MySQL Server的超级数据库,一个能平滑扩展支持1000亿大表的分布式数据库系统,一个可管控多种关系数据库的数据库路由器,一个平滑从关系数据升级到大数据的应用中间件。其前身是阿里的Cobar项目。介绍就不多说了,可以看官网http://www.mycat.org.cn/接下来我们实践吧。


二、mysql配置


mysql节点A机器操作系统 : centos6.5 x64数据库 : mysql-5.1.73mycat版本 :1.5.1 release数据库名 : db1hostname: localhost.localdomainip:192.168.1.201

mysql节点B机器操作系统 : centos6.5 x64数据库 : mysql-5.1.73mycat版本 :1.5.1 release数据库名 : db2hostname: 202.localdomainip:192.168.1.202

开始前,要先建立实体库,逻辑库要在实体库上做分表。分别在两台机器上执行创建对应的库A上:CREATE database db1;B上:CREATE database db2;另外注意linux下数据库的名称是大小写敏感的,设置my.cnf内追加一行,使得都转为小写,这样在分库的时候就统一起来了vim /etc/my.cnflower_case_table_names = 1


三、安装mycat


1.安装


我们将mycat安装在A机器上由于官方的地址下载后无法解压,可能是他们编译出错了吧,所以我另外找了一个http://download.csdn.net/detail/socho/9571201,下载1.5.1版本,得到Mycat-server-1.5.1-RELEASE-20160509173344-linux.tar.gz然后一系列操作,你们都懂


tar -xzvf Mycat-server-1.5.1-RELEASE-20160509173344-linux.tar.gz
mkdri /home/mycat/app
mv mycat /usr/local/

设置环境变量

vim /etc/profile
exportMYCAT_HOME=/usr/local/mycat
PATH=$PATH:$MYCAT_HOME/bin

令修改生效

[mycat@c1 ~]$ source /etc/profile

测试是否配置成功

[mycat@c1 ~]$ echo$MYCAT_HOME/usr/local/mycat

配置逻辑库(schema)和逻辑表(table),打开conf/schema.xml 每个属性的含义请参考权威指南,这里给出基本的

<?xmlversion="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schemaxmlns:mycat="http://org.opencloudb/"><schemaname="TESTDB"checkSQLschema="false"sqlMaxLimit="100"><!-- 需要分片的表,在节点dn1,dn2上分片,分片规则是auto-sharding-long --><tablename="travelrecord"dataNode="dn1,dn2"rule="auto-sharding-long"/><tablename="company"primaryKey="ID"dataNode="dn2,dn1"rule="mod-long"/><tablename="goods"primaryKey="ID"type="global"dataNode="dn1,dn2"/><tablename="hotnews"primaryKey="ID"dataNode="dn1,dn2"rule="mod-long"/><tablename="employee"primaryKey="ID"dataNode="dn1,dn2"rule="sharding-by-intfile"/><tablename="customer"primaryKey="ID"dataNode="dn1,dn2"rule="sharding-by-intfile"><childTablename="orders"primaryKey="ID"joinKey="customer_id"parentKey="id"><childTablename="order_items"joinKey="order_id"parentKey="id"/></childTable><childTablename="customer_addr"primaryKey="ID"joinKey="customer_id"parentKey="id"/></table></schema><dataNodename="dn1"dataHost="201.liberalman.cn"database="db1"/><dataNodename="dn2"dataHost="202.liberalman.cn"database="db2"/><dataHostname="201.liberalman.cn"maxCon="1000"minCon="10"balance="0"writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"><!-- 心跳包 --><heartbeat>select user()</heartbeat><!-- 后端mysql配置 --><writeHosthost="hostM1"url="localhost:3306"user="socho"password="Looks137"></writeHost></dataHost><dataHostname="202.liberalman.cn"maxCon="1000"minCon="10"balance="0"writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"><!-- 心跳包 --><heartbeat>select user()</heartbeat><writeHosthost="hostM1"url="localhost:3306"user="socho"password="Looks137"></writeHost></dataHost></mycat:schema>

上面配置的是连接后端mysql的配置,然后我们还要配置访问MyCAT的用户账号和授权信息,打开conf/server.xml

<?xmlversion="1.0" encoding="UTF-8"?><!DOCTYPE mycat:server SYSTEM "server.dtd"><mycat:serverxmlns:mycat="http://org.opencloudb/"><system><propertyname="defaultSqlParser">druidparser</property></system><username="test"><propertyname="password">test</property><propertyname="schemas">TESTDB</property></user><username="user"><propertyname="password">user</property><propertyname="schemas">TESTDB</property><propertyname="readOnly">true</property></user></mycat:server>


启动

[mycat@c1 ~]$ mycat start
Starting Mycat-server...

如果启动遇到问题,请查阅日志logs目录下的文件。默认数据端口为8066,管理端口为9066。好,我们用一个客户端连接下mysql -h192.168.1.201 -P8066 -utest -DTESTDB -ptest


2.测试


连上后就可以当初一个mysql数据库来操作了,后端逻辑对用户透明,建表:

mysql>createtable employee (id intnotnull primary key,name varchar(100),sharding_id intnotnull);Query OK,0 rows affected (0.05 sec)


成功后,插入数据:

mysql>insertinto employee(id,name,sharding_id)values(1,'leader us',10000);insertinto employee(id,name,sharding_id)values(2,'me',10010);insertinto employee(id,name,sharding_id)values(3,'mycat',10000);insertinto employee(id,name,sharding_id)values(4,'mydog',10010);Query OK,1 row affected (0.04 sec)Query OK,1 row affected (0.01 sec)Query OK,1 row affected (0.00 sec)Query OK,1 row affected (0.00 sec)


查看下结果

mysql>select*from employee;+----+-----------+-------------+| id | name      | sharding_id |+----+-----------+-------------+|1| leader us |10000||3| mycat     |10000||2| me        |10010||4| mydog     |10010|+----+-----------+-------------+4 rows inset(0.01 sec)


这时候分别到数据DB1,DB2查看,DB1数据

mysql> use db1;mysql>select*from employee;+----+-----------+-------------+| id | name      | sharding_id |+----+-----------+-------------+|1| leader us |10000||3| mycat     |10000|+----+-----------+-------------+2 rows inset(0.00 sec)


DB2数据

mysql> use db2;mysql>select*from employee;+----+-------+-------------+| id | name  | sharding_id |+----+-------+-------------+|2| me    |10010||4| mydog |10010|+----+-------+-------------+2 rows inset(0.00 sec)


我们终于看到,说明分片成功了,哈哈,两个数据库各一半数据。从schema.xml配置中看到,employee表是根据规则sharding-by-intfile(分片字段为sharding_id)进行分片,所以A中都是sharding_id=10000的数据,B中是sharding_id=10010。运行explain指令,可以看到SQL在哪些分片节点执行的情况:


mysql> explain createtable employee (id intnotnull primary key,name varchar(100),sharding_id intnotnull);+-----------+------------------------------------------------------------------------------------------------+| DATA_NODE | SQL                                                                                            |+-----------+------------------------------------------------------------------------------------------------+| dn1       |createtable employee (id intnotnull primary key,name varchar(100),sharding_id intnotnull)|| dn2       |createtable employee (id intnotnull primary key,name varchar(100),sharding_id intnotnull)|+-----------+------------------------------------------------------------------------------------------------+2 rows inset(0.00 sec)


explain不会真的执行的,放心试试吧!

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
5月前
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
|
3月前
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
|
5月前
|
存储 缓存 监控
分布式链路监控系统问题之kywalking在后期维护过程中可能会遇到中间件版本升级的问题如何解决
分布式链路监控系统问题之kywalking在后期维护过程中可能会遇到中间件版本升级的问题如何解决
|
25天前
|
Cloud Native 关系型数据库 分布式数据库
PolarDB 分布式版 V2.0,安全可靠的集中分布式一体化数据库管理软件
阿里云PolarDB数据库管理软件(分布式版)V2.0 ,安全可靠的集中分布式一体化数据库管理软件。
|
5月前
|
存储 SQL 分布式数据库
OceanBase 入门:分布式数据库的基础概念
【8月更文第31天】在当今的大数据时代,随着业务规模的不断扩大,传统的单机数据库已经难以满足高并发、大数据量的应用需求。分布式数据库应运而生,成为解决这一问题的有效方案之一。本文将介绍一款由阿里巴巴集团自主研发的分布式数据库——OceanBase,并通过一些基础概念和实际代码示例来帮助读者理解其工作原理。
444 0
|
2月前
|
关系型数据库 分布式数据库 数据库
PostgreSQL+Citus分布式数据库
PostgreSQL+Citus分布式数据库
71 15
|
3月前
|
SQL 关系型数据库 分布式数据库
Citus 简介,将 Postgres 转换为分布式数据库
【10月更文挑战第4天】Citus 简介,将 Postgres 转换为分布式数据库
118 4
|
3月前
|
SQL NoSQL MongoDB
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
56 0
|
5月前
|
存储 缓存 负载均衡
【PolarDB-X 技术揭秘】Lizard B+tree:揭秘分布式数据库索引优化的终极奥秘!
【8月更文挑战第25天】PolarDB-X是阿里云的一款分布式数据库产品,其核心组件Lizard B+tree针对分布式环境优化,解决了传统B+tree面临的数据分片与跨节点查询等问题。Lizard B+tree通过一致性哈希实现数据分片,确保分布式一致性;智能分区实现了负载均衡;高效的搜索算法与缓存机制降低了查询延迟;副本机制确保了系统的高可用性。此外,PolarDB-X通过自适应分支因子、缓存优化、异步写入、数据压缩和智能分片等策略进一步提升了Lizard B+tree的性能,使其能够在分布式环境下提供高性能的索引服务。这些优化不仅提高了查询速度,还确保了系统的稳定性和可靠性。
107 5
|
5月前
|
运维 安全 Cloud Native
核心系统转型问题之分布式数据库和数据访问中间件协作如何解决
核心系统转型问题之分布式数据库和数据访问中间件协作如何解决