开发者社区> 技术小美> 正文

Mysql Hunter——Mysql代理扩展

简介:
+关注继续查看

1. 名词解释

amoeba:amoeba是盛大的一位高级研究员编写的一个通用数据存储代理框架,它是一个基于Java编写的位于db服务器与客户端之间的代理,它可以用来监控,分析,传输db客户端与服务器端的通信信息。它实现了负载均衡,失败重连,读写分离等功能。

amoeba for mysql:amoeba框架中的一个子产品,专门提供支持mysql server与client间的代理服务,支持mysql4.1以上版本。简单的说amoeba for mysql就是Client连接Mysql Server的proxy。

hunter:hunter是寄生于amoeba中的一个扩展,通过它,能截取所有流经amoeba代理层的客户端及服务器端的命令消息,除此之外,它还能修改客户端的命令,服务器端的返回结果,甚至独立的与服务器或者客户端进行通信。

2. 简介

2.1. Mysql Hunter背景

自动化测试实施的过程中,我们通常都面临一个棘手的问题:数据的准备和恢复。即在成功执行一个自动化用例时,我们可能需要一定的数据前提,而为了使得整个前提不至于被其他的用例破坏,以至于我们有时不得不在自动化用例编写过程中手工的添加许多Insert、Update、Delete语句来保证数据被恢复到我们执行用例前的状态。

LAMP是各公司网站流行的一种开发模式,而使用phpunit等工具框架进行自动化单元测试的过程中也面临数据准备和恢复的问题。单元测试开发人员开发过程中不得不编码中显示编写数据准备,验证,恢复的代码,这样会带来以下几个缺点:

1. 用例阅读性降低,难于辨别主要的测试逻辑

2. 用例可维护性降低,当数据库的表结构略微有变化或者业务底层逻辑有变动,数据的准备和恢复的代码都将有可能面临修改甚至重写

3. 极大消耗开发人员开发成本,用例编写过程中不得不额外花很多的时间去思考数据的准备和恢复
基于以上三点,考虑设计实现一个mysql server及client的中间层,通过此中间层,可以将自动化Case编写人员的数据恢复操作透明化,且在数据环境稳定的前提下,适度的降低开发人员的数据准备工作。当然,我们希望这个中间层不限于此功能。

2.2. 为什么不是Mysql Proxy

通过上面的介绍读者可能会发现官方版本mysql proxy似乎也能实现代理和扩展的功能,但是我们为什么不使用mysql proxy呢,原因如下:

1. mysql proxy的读写分离等功能是使用lua脚本编写,lua不常用,有一定学习成本,阅读维护困难

2. 自定义开发和升级困难

2.3. Amoeba和Hunter的角色

Amoeba for mysql位于Application与数据库之间,为应用提供透明的代理服务。

Amoeba对外接口采用 mysql protocol,没有定义自己的协议和接口,使得任何mysql的应用都能方便的使用Amoeba,诸如php、java、c等等的 cennector。

Amoeba本身没有Build 任何 SQL语句,而是直接接收client的SQL、命令等进行代理转发,Amoeba采用 SQL、命令等 mysql protocol规范作为统一的接口,完备性得到了保证,能够完成mysql的所有功能操作。

3. 功能介绍

3.1. Amoeba for mysql

Mysql-hunter是基于amoeba for mysql做的mysql代理扩展,首先了解amoeba for mysql,如图:



amoeba for mysql本身实现的功能包括:
1. 读写/分离
2. 失败重连
3. 负载均衡
4. 连接池
5. 身份认证


3.2. Mysql hunter扩展

Mysql-Hunter‘寄生’于Amoeba,流经Amoeba的query也都将流经Mysql Hunter,而它的功能主要在于SQL Query or SQL Result的inject、rewrite以及reverse,如图:



从上图可以看出,mysql hunter可以实现如下功能:

1. Client连接server的阶段进行自定义命令发送或返回
2. Client发送query cmd至server的阶段,进行query截取,修改
3. 同理,Server返回给Client的结果集也能被hunter监控,修改甚至重写
Mysql Hunter对于它不感兴趣的query将直接返回给Amoeba继续处理。


3.3. 基本扩展BasicMysqlHunter

BasicMysqlHunter是一个基本且实用的扩展实现,继承自Hunter类(参考系统设计自定义扩展部分),实现了Hunter的抽象方法,可以在client发送cmd至server前对query进行截获处理,也可以对server返回的结果集进行修改。 BasicMysqlHunter目前定位于对DML query进行如下操作:

1. 分析识别
2. 逆向语句及序列生成
3. 逆向语句的回放,即显示命令恢复数据库数据

举例说明

Client要通过mysql hunter向server发送一条query:
INSERT INTO tblLemma SET title = ‘北京’, content = ‘我爱北京天安门’;
开始Mysql Hunter的情况下,整个流程将这么进行:



通过顺序执行stack中的语句,数据库中的数据就将恢复到insert命令之前的状态。


4. 使用示例


BasicMysqlHunter目前提供三条自定制命令:

1. select start:开始启用扩展,扩展将开始监控select start执行之后流经Hunter的DML命令并求逆;Hunter直接返回Ok packet
2. select print_stack:打印当前Hunter上下文中的逆命令堆栈
3. select end:结束扩展监控,并将Hunter上下文中的逆向命令栈依顺序pop出栈并发送Server恢复DB数据;Hunter直接返回Ok packet

以PHP代码为例:



其他语言的mysql connector同理。
 

5. 系统总体设计

5.1. 设计思路

5.1.1. 自定义扩展

Amoeba for mysql提供了监控、截取client与server间通信数据的条件,测试开发人员可以根据自己的需求充分利用该条件。为了让需求更灵活的实现,考虑将扩展设计得更灵活,以便将来其他需求到来时可以快速的实现。我们把client与server端的交互功能抽象为一个抽象类——Hunter:



那么,这里所说的自定义扩展是指具体实现Hunter抽象类的子类可以是任意的,但必须实现Hunter的两个基本抽象方法:beforeSendQuery、afterReceiveResult。同时Hunter还需提供更多的接口:afterSendQuery、 beforeReceiveResult、afterConnected,分别代表不同时间点待实现的方法。



在实例化过程中根据配置项进行具体的Hunter子类的加载,从而实现灵活的自定义扩展。

5.1.2. 并发问题考虑

如果有多个Client同时连接mysql hunter并发送DML命令,系统改如何处理?

目前mysql hunter采用锁机制来处理并发,即Client A,Client B同时分别发送一条query到hunter的时候,先到达的连接将获得一个可重入的锁,即当前连接同一线程可以获得锁,而在此锁未释放前其他连接到来无法获得该锁

 


5.1.3. 结果集解析及拼装

Amoeba本身未封装mysql协议中结果集的解析存储,以及字符串至二进制结果集的转换,需要扩展本身提供工具类进行解析的封装。

解决办法,依照mysql10协议,获知每个字节的含义,然后解析生成结果集对象。

5.2. 扩展包结构 
 

 

 


Mysql Hunter扩展包结构


扩展子包说明

datatype
query结果集(ResultSet)对应字段及属性的定义,用于封装并存储ResultSet解析后的记录

handler
HunterRouter的抽象成员,BasicHandler(包括Insert、Delete、Update)目前是它的实现,负责DML语句求逆处理流程

utils
通用工具类,如结果集的处理,字符串的处理等

factory
Hunter子类的工厂类,可以根据配置文件对具体扩展类的定义实例化hunter子类

state
定义hunter扩展类的状态及相应状态下query的处理调度

其他

Context是一个单例,它负责记录Hunter的状态,命令栈,与client、server的连接等等全局对象,供Hunter各阶段注入方法set、get。
HuntRouter是一个“路由器”,解析query并将其分发至具体负责处理的Handler。

6. 小结

目前在项目中已经有所使用mysql hunter作为代理,它带来了以下收益:保证了case在执行后能自动恢复到case执行前(对于case代码透明);case可重复执行;尽可能的避免了case之间的数据依赖等影响。

基于Hunter的这样一种架构,通过实现自定义扩展,将来还可能带来:

自定义Mysql桩(模拟、修改结果集)
实时监控Query
性能测试辅助,集成query性能瓶颈分析反馈
研发人员单元自测辅助

当然,Mysql Hunter在目前的版本中还有一些功能尚未支持:

DML语句的多表操作,例如一个query中同时修改update表A和表B的字段,暂时没有实现逆语句生成,仅能转发
没有实现UPDATE语句中包含limit的语句的逆语句生成,仅能转发
暂不支持改变表结构和用户属性权限的语句,ALTER TABLE、TRUNCATE TABLE、CREATE TABLE、DROP TABLE、GRANT、ALTER USER等,仅能转发
不支持非DML语句,仅能转发
暂不支持DML语句中的Mysql内置函数,如now()(正在开发中)

后续的升级会逐步考虑实现上述的限制功能,因为毕竟这些限制并不常出现在提测代码中,低概率的丢失这部分query的逆语句不会对case造成大的影响,并且知道了这些限制我们也可以在代码里自行做一些处理。

【本文转自百度测试技术空间http://hi.baidu.com/baiduqa/blog/item/badb09ceb202fa1d01e92896.html












本文转自百度技术51CTO博客,原文链接:http://blog.51cto.com/baidutech/744526,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
9065 0
使用SSH远程登录阿里云ECS服务器
远程连接服务器以及配置环境
12457 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
19696 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
13422 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
17986 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
32727 0
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
34557 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
18615 0
+关注
6902
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载