mysql基于amoeba的读写分离

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介:

Amoeba的实用指南

http://docs.hexnova.com/amoeba/


如何实现mysql读写分离 :                                                                        

通常来说有两种方式:    

1,应用程序层实现                                                                                                            

2,中间件层实现  



应用层实现

应用层实现是指在应用程序内部及连接器中实现读写分离。

例如:

com.mysql.jdbc.replicationdriver

mysqlnd_ms

优点:

程序内部实现读写分离,安装即可使用

减少部署难度。

访问压力在一定级别以下,性能很好。

缺点:

架构一旦调整,代码要更这变, 不够灵活。

难以实现高级应用,如自动分库,分表

无法适用于更大型的应用场景。

目前还不支持事务


中间件层实现:

中间件层实现是指外部中间件程序实现读写分离

mysql-proxy

amoeba

TDDL(TAObao)

CObar(alibaba)

Atlas(qihoo360)

 

优点:

架构设计上更加灵活、

读库的负载均衡

可在程序上实现一些高级控制,failover,流量控制

依靠一些技术可以实现mysql性能提升,如连接池

对业务代码侵入性少

缺点:

需要有一定的开发实力和运维团队的支持

wKiom1ZUEZigsaQVAAGhwB6QewY870.png













 

如果你想支 持事务,又想读写分离,还想负载均衡和高可用,请去了解楼方鑫老师的oneproxy



什么是Amoeba?



Amoeba 2008发布的第一款开源框架

amoeba for mysql,致力于mysql分布式数据库代理层

它主要在应用层访问mysql的时候充当sql路由功能,专注于分布式数据库代理层,坐落于client,DBserver之间,对客户端透明具有负载均衡,高可用,sql过滤,读写分离,可路由相到目标数据库,可并发请求多台数据库合并结果

通过amoeba您能够完成数据源的高可用,负载均衡,数据切换功能,

目前amoeba目前不支持事务


下面是实现这一方案的架构图:

wKiom1Yt14_i8SSlAAEJLSWgjGU617.jpg

mysql主从复制配置

因为读写分离,所以一台负责mysql的写操作,另一台负责mysql的读操作,所以我们这里使用mysql的主从复制再合适不过了。关于这一配置,请移步:                                                                    http://douya.blog.51cto.com/6173221/1596113


Amoeba实现读写分离:


2,java环境配置

Amoeba框架是基于Java SE1.5开发的,建议使用Java SE 1.5版本。目前Amoeba经验证在JavaTM SE 1.5和Java SE 1.6能正常运行,(可能包括其他未经验证的版本)。
Java SE 1.6下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u32-downloads-1594644.html
我这里下载jdk-6u32-linux-i586-rpm.bin。
下载完成后执行sh jdk-6u32-linux-i586-rpm.bin开始安装,将会安装到/usr/java/jdk1.6.0_32目录。

我自己选择的jdk是根据统一环境使用的1.7

3,Amoeba的安装

Amoeba下载地址:http://sourceforge.net/projects/amoeba/

下面是安装步骤:

1
2
3
4
cd  /root
mkdir  /usr/local/amoeba
wgethttp: //softlayer .dl.sourceforge.net /project/amoeba/Amoeba %20for%20mysql /2 .x /amoeba-mysql-binary-2 .1.0-RC5. tar .gz
tar  xzf amoeba-mysql-binary-2.1.0-RC5. tar .gz -C  /usr/local/amoeba

配置用户环境变量

vim /etc/profile

设置为:

1
2
3
4
5
export  JAVA_HOME= /root/jdk1 .7.0_79
export  CLASSPATH=$JAVA_HOME /lib/dt .jar:$JAVA_HOME /lib/tools .jar:$JAVA_HOME /jre/lib/rt .jar
export  PATH=$PATH:$JAVA_HOME /bin
export  JAVA_HOME
export  PATH

立即生效:

1
source   /etc/profile


4,Amoeba for mysql配置


配置Amoeba for mysql的读写分离主要涉及两个文件:

1、/usr/local/amoeba/conf/amoeba.xml
此文件定义了Amoeba代理的相关配置。

2、/usr/local/amoeba/conf/dbServers.xml
此文件定义由Amoeba代理的数据库如何连接,比如最基础的:主机IP、端口、Amoeba使用的用户名和密码等等。


amoeba.xml配置

amoeba本地配置或者对外的配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
  <! - -  service  class  must implements com.meidusa.amoeba.service.Service  - - >
  <service name = "Amoeba for Mysql"  class = "com.meidusa.amoeba.net.ServerableConnectionManager" >
<! - -  port  - - >
< property  name = "port" > 3306 < / property >    - 改成 3306 比较好,开发直接实用默认 3306 端口
<! - -  bind ipAddress  - - >
< property  name = "ipAddress" > 192.168 . 0.48 < / property >
  对外提供程序访问的IP地址,也就是amoeba机器对外访问的IP地址
< property  name = "manager" >${clientConnectioneManager}< / property >
< property  name = "connectionFactory" >
<bean  class = "com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory" >
< property  name = "sendBufferSize" > 128 < / property >
< property  name = "receiveBufferSize" > 64 < / property >
     < / bean>
     < / property >



amoeba对外连接验证配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
  < property  name = "authenticator" >
   <bean  class = "com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator" >
  
   < property  name = "user" >amoeba< / property >     * * * *  对外提供访问的用户
                                         
   < property  name = "password" >Centos< / property >   * * * * 对外提供访问的密码
  
    < property  name = "filter" >
    <bean  class = "com.meidusa.amoeba.server.IPAccessController" >
    < property  name = "ipFile" >${amoeba.home} / conf / access_list.conf< / property >
    < / bean>
    < / property >
    < / bean>
    < / property >

这里定义连接amoeba时用来验证的用户及密码。


amoeba.xml读写分离配置:

1
2
3
4
  < property  name = "defaultPool" >Master< / property >
< property  name = "writePool" >Master< / property >
< property  name = "readPool" >virtualSlave< / property >
virtualSlave和dbServer.xml中配置的节点相关

defaultPool:配置了默认的数据库节点,一些除了SELECT\UPDATE\INSERT\DELETE的语句都会在defaultPool执行。
writePool :配置了数据库写库,通常配为Master,如这里就配置为之前定义的Master数据库。
readPool :配置了数据库读库,通常配为Slave或者Slave组成的数据库池,如这里就配置之前的virtualSlave数据库池。

 (1)dbServers.xml文件配置:

         本地的配置或者对外访问配置

 ***************表示需要修改部分

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
<dbServer name = "abstractServer"  abstractive = "true" >
  <factoryConfig  class = "com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory" >
            < property  name = "manager" >${defaultManager}< / property >
            < property  name = "sendBufferSize" > 64 < / property >
           < property  name = "receiveBufferSize" > 128 < / property >
  
           <! - -  mysql port  - - >
           < property  name = "port" > 3306 < / property >   
  
            <! - -  mysql schema  - - >
          < property  name = "schema" >roudy< / property > 必须是一个存在的database
  
           <! - -  mysql user  - - >
           < property  name = "user" >amoeba< / property >   * * * * * * * *
  
           <! - -   mysql password  - - >
           < property  name = "password" >Centos< / property > 默认被注释掉,需打开
  
           < / factoryConfig>
  
       <poolConfig  class = "com.meidusa.amoeba.net.poolable.PoolableObjectPool" >
             < property  name = "maxActive" > 500 < / property >
             < property  name = "maxIdle" > 500 < / property >
             < property  name = "minIdle" > 10 < / property >
             < property  name = "minEvictableIdleTimeMillis" > 600000 < / property >
             < property  name = "timeBetweenEvictionRunsMillis" > 600000 < / property >
             < property  name = "testOnBorrow" >true< / property >
             < property  name = "testWhileIdle" >true< / property >
             < / poolConfig>
         < / dbServer>
此部分定义 登录mysql服务器的端口,数据库名称,mysql用户及密码。


接下来配置主从定义:

***************表示需要修改部分

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
  
<dbServer name= "master"   parent= "abstractServer" >
      <factoryConfig>
       <!-- mysql ip -->
      <property name= "ipAddress" >192.168.0.1</property>  ** master-IP
      </factoryConfig>
      </dbServer>
<dbServer name= "Slave1"   parent= "abstractServer" >
      <factoryConfig>
      <!-- mysql ip -->
      <property name= "ipAddress" >192.168.0.2</property> ****slave1的IP        
      </factoryConfig>
      </dbServer>
<dbServer name= "Slave2"   parent= "abstractServer"
      <factoryConfig>
      <!-- mysql ip -->
      <property name= "ipAddress" >192.168.0.3</property>   ***slave2的IP
      </factoryConfig>
      </dbServer>
      <dbServer name= "virtualSlave"  virtual= "true" >      ***轮询策略
      <poolConfig class= "com.meidusa.amoeba.server.MultipleServerPool" >             <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
      <property name= "loadbalance" >1</property>
  
    <!-- Separated by commas,such as: server1,server2,server1 -->
      <property name= "poolNames" >Slave1,Slave2</property>
      </poolConfig>
      </dbServer>
此部分定义主服务器,从服务器,及从服务器连接池。这里只定义数据库地址,它们的用户及密码就是上面的abstractServer里的设置。注意用来连接真实mysql服务器的用户必须拥有远程连接权限 ,这里是先安装,完了在授权

配置授权用户

主服务器

1
mysql>  grant  create , select , insert , update , delete  on  *.*  to  amoeba@ '192.168.0.%'  identified  by  'Centos' ;


mysql> flush  privileges;

此时MySQL由于配置了主从同步,所以需要先停掉从的权限。

这里的amoeba,是amoeba.xml ,dbServer.xml中配置的amoeba用户


从服务器

1
2
  stop slave;
  grant  select  on  *.*  to  amoeba@ '192.168.0.%'  identified  by  'Centos' ;

 



amoeba启动

启动命令:

1
2
3
4
[root@localhost amobea]# bin/amoeba start
The stack  size  specified  is  too small, Specify  at  least 228k
Error: Could  not  create  the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.




此命令以前台的方式启动,会输出启动时的信息,检查没有错误信息后,中断,并后台运行:

启动报错,修改启动脚本

1
2
3
[root@localhost amobea]# vim bin/amoeba
改为
DEFAULT_OPTS= "-server -Xms256m -Xmx256m -Xss256k"


后台启动amoeba

/usr/local/amoeba/bin/amoeba &

检验启动是否成功(3306端口):

1
2
3
[root@localhost amoeba] # ps aux | grep amoeba
root     24580  0.2 19.2 408912 49264 pts /1     Sl   12:52   0:11  /usr/java/jdk1 .6 /bin/java  -server -Xms256m -Xmx256m -Xss128k -Damoeba.home= /usr/local/amoeba  -Dclassworlds.conf= /usr/local/amoeba/bin/amoeba .classworlds -classpath  /usr/local/amoeba/lib/classworlds-1 .0.jar org.codehaus.classworlds.Launcher
[root@localhos amoeba] # netstat -lnp | grep java


最终测试:

链接测试 在任意客户端登录amoeba

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@localhost ~]# mysql -u amoeba -p -h192.168.2.48
Enter  password
Welcome  to  the MySQL monitor.  Commands  end  with  or  \g.
Your MySQL  connection  id  is  1982632907
Server version: 5.1.45-mysql-amoeba-proxy-2.1.0-RC5 MySQL Community Server (GPL)
Copyright (c) 2000, 2013, Oracle  and / or  its affiliates.  All  rights reserved.
Oracle  is  a registered trademark  of  Oracle Corporation  and / or  its
affiliates. Other names may be trademarks  of  their respective
owners.
Type  'help;'  or  '\h'  for  help. Type  '\c'  to  clear the  current  input statement.
mysql> show databases;
+ --------------------+
Database            |
+ --------------------+
| information_schema |
| amoeba_test        |
| mysql              |
| performance_schema |
| repl               |
| roudy              |
| test               |
+ --------------------+
rows  in  set  (0.02 sec)
mysql>

如上表明amoeba配置完全正确。


测试读写是否正确:

此时读库是没有开启复制功能的,(stop  slave)

在master服务器上操作,新增一条数据

insert into luodi values ('1','luodi','master1');

紧接着在master查询

1
2
3
4
5
6
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address |
+ ------+-------+---------+
|    1 | luodi | master  |
|    1 | luodi | master1 |


在salve服务器上操作,新增一条数据

insert into luodi values ('1','luodi','slave1');

紧接着在salve查询:

1
2
3
4
5
6
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address  |
+ ------+-------+---------+
|    1 | luodi | slave   |
|    1 | luodi | slave1  |


现在在ameoba服务器查询:

1
2
3
4
5
6
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address  |
+ ------+-------+---------+
|    1 | luodi | slave   |
|    1 | luodi | slave1  |


没有master服务器的数据,那么在amoeba服务器上插入一条数据,再次验证

insert into luodi values ('1','luodi','slave2');

登录master,salve查看

1
2
3
4
5
6
7
8
master:
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address |
+ ------+-------+---------+
|    1 | luodi | master  |
|    1 | luodi | master1 |
|    1 | luodi | master2

salve:   此时slave任然没有开启复制

1
2
3
4
5
6
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address  |
+ ------+-------+---------+
|    1 | luodi | slave   |
|    1 | luodi | slave1  |


到目前为止amoeba基于-M-S结构的动静分离完全成功,然后start slave即可、




      本文转自crazy_charles 51CTO博客,原文链接:http://blog.51cto.com/douya/1607493,如需转载请自行联系原作者





相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
5月前
|
存储 关系型数据库 MySQL
MySQL 读写分离原理
MySQL 读写分离原理
97 0
MySQL 读写分离原理
|
5月前
|
关系型数据库 MySQL Java
MySQL的主从复制 && SpringBoot整合Sharding-JDBC解决读写分离
MySQL的主从复制 && SpringBoot整合Sharding-JDBC解决读写分离
123 0
|
5月前
|
SQL 关系型数据库 MySQL
Mycat【Mycat部署安装(核心配置及目录结构、安装以及管理命令详解)Mycat高级特性(读写分离概述、搭建读写分离、MySQL双主双从原理)】(三)-全面详解(学习总结---从入门到深化)
Mycat【Mycat部署安装(核心配置及目录结构、安装以及管理命令详解)Mycat高级特性(读写分离概述、搭建读写分离、MySQL双主双从原理)】(三)-全面详解(学习总结---从入门到深化)
524 0
|
18天前
|
负载均衡 监控 关系型数据库
MySQL 官宣:支持读写分离了!!
【10月更文挑战第8天】MySQL的读写分离功能显著提升了数据库性能、可用性和可靠性。通过将读写操作分配至不同服务器,有效减轻单个服务器负载,提高响应速度与吞吐量,并增强系统稳定性。此外,它还支持便捷的扩展方式,可通过增加只读服务器提升读操作性能。实现读写分离的方法包括软件层面(如使用数据库中间件)和硬件层面(使用独立服务器)。使用时需注意数据一致性、负载均衡及监控管理等问题。
|
5月前
|
SQL 关系型数据库 MySQL
mysql 主从复制与读写分离
mysql 主从复制与读写分离
|
1月前
|
关系型数据库 MySQL Java
MySQL主从复制实现读写分离
MySQL主从复制(二进制日志)、 Sharding-JDBC实现读写分离
MySQL主从复制实现读写分离
|
2月前
|
SQL 关系型数据库 MySQL
(二十五)MySQL主从实践篇:超详细版读写分离、双主热备架构搭建教学
在上篇《主从原理篇》中,基本上把主从复制原理、主从架构模式、数据同步方式、复制技术优化.....等各类细枝末节讲清楚了,本章则准备真正对聊到的几种主从模式落地实践,但实践的内容通常比较枯燥乏味,因为就是调整各种配置、设置各种参数等步骤。
403 2
|
2月前
|
关系型数据库 MySQL PHP
开发者必看:MySQL主从复制与Laravel读写分离的完美搭配
开发者必看:MySQL主从复制与Laravel读写分离的完美搭配
65 2
|
2月前
|
SQL 关系型数据库 MySQL
mysql读写分离,主从同步
本文介绍了如何在Laravel项目中配置数据库读写分离,并实现MySQL主从同步。主要步骤包括:在`config/database.php`中设置读写分离配置;为主机授予从机访问权限;配置各MySQL服务器的`/etc/my.cnf`文件以确保唯一的`server-id`;以及通过SQL命令设置主从关系并启动从服务。文章还针对一些常见错误提供了排查方法。最后通过验证确认主从同步是否成功。[原文链接](https://juejin.cn/post/6901581801458958344)。版权所有者为作者佤邦帮主,转载请遵循相关规定。
|
2月前
|
cobar 关系型数据库 MySQL
使用MyCat实现MySQL主从读写分离(一)概述
【8月更文挑战第11天】MySQL读写分离通过主从复制分散负载,主库负责写操作,从库承担读查询,以复制技术确保数据一致性。此策略有效缓解锁竞争,提升查询效能并增强系统可用性。实现方式包括应用层处理,简便快捷但灵活性受限;或采用中间件如MyCAT、Vitess等,支持复杂场景但需专业团队维护。
75 0

推荐镜像

更多