数据库中间件mysql-proxy细节【mysql官方的中间件】

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
简介: mysql-proxy是mysql官方提供的mysql中间件服务,上游可接入若干个mysql-client,后端可连接若干个mysql-server,它使用mysql协议,任何连接mysql的上游无需任何更改即可迁移至mysql-proxy上。

一、mysql-proxy简介

mysql-proxy是mysql官方提供的mysql中间件服务,上游可接入若干个mysql-client,后端可连接若干个mysql-server,它使用mysql协议,任何连接mysql的上游无需任何更改即可迁移至mysql-proxy上。

mysql-proxy最基本的用法,就是作为一个请求拦截,请求中转的中间层:

image.png

进一步的,mysql-proxy可以分析与修改请求。拦截查询和修改结果,需要通过编写Lua脚本来完成。mysql-proxy允许用户指定Lua脚本对请求进行拦截,对请求进行分析与修改,它还允许用户指定Lua脚本对服务器的返回结果进行修改,加入一些结果集或者去除一些结果集均可。

【SK画外音:sql拦截与修改,性能分析与监控,读写分离,请求路由等各种功能都是通过编写Lua脚本来完成的,mysql-proxy是个框架,具备很好的扩展性。这个框架提供了6个hook点,能够让用户能够动态的介入到client与server中的通讯中去。】

二、mysql-proxy命令参数

版本显示

使用--version参数即可:

./mysql-proxy --version

从输出可以看到mysql-proxy的版本,以及依赖的glib,libevent,lua的版本

1 mysql-proxy0.8.3

2 chassis: mysql-proxy 0.8.3

3 glib2: 2.16.6

4 libevent: 1.4.13-stable

5 LUA: Lua 5.1.4

8 -- modules

9 proxy: 0.8.3

简单启动

mysql-proxy启动至少需要指定一个后端mysql的ip和端口号,此时带上--proxy-backend-addresses参数即可:

./mysql-proxy --proxy-backend-addresses=127.0.0.1:3306

指定配置文件启动

mysql-proxy亦可以指定配置文件启动,此时带上--defaults-file来指定配置文件即可:

./mysql-proxy --defaults-file=./mysql-proxy.cnf

mysql-proxy.cnf的格式如下:

1[mysql-proxy]

2proxy-backend-addresses = 127.0.0.1:3306

需要注意,在命令行中参数前需要加入“--”,而在配置文件中则不需要。

寻求帮助

可以使用--help,或者--help-all

./mysql-proxy --help

./mysql-proxy --help-all

Proxy常用选项

image.png

注意:

如果设置了多个后端mysql,负载均衡策略为round-robin。例如设了A和B两台后端,第一个请求转发到A,第二个请求转发到B,第三个请求转发到A,以此类推。

Proxy服务常用选项

image.png

典型配置文件示例

1[mysql-proxy]

2

3proxy-address = 127.0.0.1:4040

4 daemon =true

5event-threads = 2

6 keep-alive= true

7 log-file =./mysql-proxy.log

8 log-level= debug

9max-open-files = 1024

10 pid-file =./mysql-proxy.pid

11

12 proxy-lua-script= ./ro-balance.lua

13proxy-backend-addresses = 127.0.0.1:3306

14proxy-skip-profiling = false

启动过程中提示:

2013-12-28 15:15:49: (critical)mysql-proxy-cli.c:326: loading config from './mysql-proxy.cnf' failed:permissions of ./mysql-proxy.cnf aren't secure (0660 or stricter required)

由于安全要求,必须将配置文件权限设为660(创建人可读写,同组人可读),否则不允许启动。

三、mysql-proxy脚本编程

如“简介”中所述,mysql-proxy向用户提供了6个hook点,让用户实现Lua脚本来完成各种功能,这些hook点是以函数的形式提供的,用户可以实现这些函数,在不同事件、不同操作发生时,做我们期望的事情。

connect_server()

mysql-client向proxy发起连接时,proxy会调用这个函数。用户可以实现该函数,来做一些负载均衡的事情,例如选择将要连向那个mysql-server。假设有多个mysql-server后端,而用户又没有实现这个函数,proxy默认采用轮询(round-robin)策略。

read_handshake()

mysql-server向proxy返回“初始握手信息”时,proxy会调用这个函数。用户可以实现这个函数,来做更多的权限验证工作。

read_auth()

mysql-client向proxy发送认证报文(user_name, password,database)时,proxy会调用这个函数。

read_auth_result()

mysql-server向proxy返回认证结果时,proxy会调用这个函数。

read_query()

认证完成后,mysql-client每次经过proxy向mysql-server发送query报文时,proxy会调用这个函数。用户如果要拦截请求,就可以模拟mysql-server直接返回了,当然用户亦可以实现各种策略,修改请求,路由请求等各种不同的业务逻辑。

read_query_result()

认证完成后,mysql-server每次经过proxy向mysql-client返回query结果时,proxy会调用这个函数。需要注意,如果用户没有显示实现read_query()函数,则read_query_result()函数是不会被调用的。用户可以在此处实现各种合并策略,或者对结果集进行修改。

【SK画外音:下图是一个各hook函数的触发图(请注意请求方向)】

image.png

【SK继续画外音:可以发现,最重要的两个函数其实是read_query()和read_query_result(),各种sql的改写与结果集的改写逻辑,都是在这两个函数中实现的,更细节的query过程如下图】

image.png

案例一: sql时间统计分析

不妨设mysql-client提交的原sql为:SELECT * FROM City;

proxy可以在read_query()里将其改写为:SELECT NOW(); SELECT *FROM City; SELECT NOW();

这样在返回结果集时,就可以在应用层对sql时间进行记录,以方便统计分析。

案例二:sql性能统计分析

不妨设mysql-client提交的原sql为:SELECT * FROM City;

proxy可以在read_query()里将其改写为: SELECT * FROM City; EXPLAIN SELECT * FROMCity;

这样在返回结果集时,就可以在应用层对sql性能进行记录,以方便统计分析。

需要强调的是,这两个案例,由于proxy在read_query()时对sql进行了改写,故在read_query_result()时,mysql-server其实返回了比原请求更多的信息,proxy一定要将多余的信息去掉,再返回mysql-client。多说一句,可以加入一个唯一ID,来对请求sql和返回结果进行配对。

demo

需求:在业务层统计sql日志

实现:tutorial-basic.lua

1 -- 如果是COM_QUERY,就将内容打印出来

2 functionread_query( packet )

3 if string.byte(packet) == proxy.COM_QUERYthen

4 print("we got a normal query:" .. string.sub(packet, 2))

5 end

6 end

修改配置并重启proxy:

proxy-lua-script = tutorial-basic.lua

客户端使用黑黑的窗口连接4040端口的proxy,并进行一系列sql操作,操作序列如下:

mysql -h127.0.0.1 -uroot -P4040

show databases;

use im;

show tables;

select * from user;

quit

通过tutorial-basic.lua,会将上述操作都记录到日志中,日志序列如下:

we got a normal query: select @@version_comment limit1

we got a normal query: show databases

we got a normal query: SELECT DATABASE()

we got a normal query: show tables

we got a normal query: select * from user

【SK画外音:咦,通过这个日志我才知道,连上数据库会默认发一个select @@version_comment limit 1的请求呢。use im;这个请求,为啥变成SELECT DATABASE()了呢?】

四、FAQ

(1)如何实现最简单的读写分离?

shell> mysql-proxy \

--proxy-backend-addresses=10.0.1.2:3306 \

--proxy-read-only-backend-addresses=10.0.1.3:3306

(2)mysql proxy支持所有版本的mysql么?

只支持mysql5.0+的mysql协议。

(3)如果开启负载均衡,那事务怎么办?所有的query会发往同一台mysql么?

如果用户不专门定制Lua脚本,会发往同一台mysql,以保证其完整性。

(4)系统上下文切换代价大么?Lua脚本引入的额外开销有多大?

Lua很快,对于大部分应用来说,额外开销很小,原始包(raw packet)开销大概在400微秒左右。

【SK画外音:这,,,我不太相信】

(5)Lua脚本可以动态加载么?

升级了Lua脚本,连接建立后才会读取新的哟。

(6)如果proxy和mysql部署在一台机器上,有什么需要建议的呢?

proxy单独部署也可以,和mysql部署在同一台机器上也可以。相比mysql而言,proxy不怎么占CPU和内存,其性能损耗可以忽略不计。

【SK画外音:这,,,性能损耗可以忽略,这我也不信】

(7)Lua脚本是预读到内存里的吧?还是说每次都要到文件系统里读?

客户端连接过来时,或者脚本更新时会读取,其他的时候都读内存哟。

(8)加入客户端连上来,出发了connect_server()函数,Lua脚本能连接多个mysql么?

可以,使用指引里有样例代码哟。

(9)proxy可以处理SSL连接么?

不可以,作为中间人,不能处理加密信息。

(10)proxy不会获取和保存我的明文密码吧?

不会,也获取不到。mysql协议不允许密码以明文传输,传输的都是加密后的密文。

(11)有隔离问题,调试问题的工具么?如果请求出错了,我怎么知道错误发生在mysql客户端,还是mysql服务端,还是proxy呢?

你可以自己在proxy里设置debug脚本进行调试,例如设置断点什么的。

(12)瞧你官网吹的,有哪个大网站用了mysql-proxy么?请求量是什么级别?

这问题问的,作为官网我,,,盖亚在线(http://www.gaiaonline.com/) 就是用的mysql-proxy哟,qps可以到2400。

【SK画外音:这是个外国的游戏网站,页面好丑啊。】

(13)如果我在Lua脚本用使用LuaSocket可以么?

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
22天前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
22天前
|
存储 关系型数据库 MySQL
大数据新视界 --面向数据分析师的大数据大厂之 MySQL 基础秘籍:轻松创建数据库与表,踏入大数据殿堂
本文详细介绍了在 MySQL 中创建数据库和表的方法。包括安装 MySQL、用命令行和图形化工具创建数据库、选择数据库、创建表(含数据类型介绍与选择建议、案例分析、最佳实践与注意事项)以及查看数据库和表的内容。文章专业、严谨且具可操作性,对数据管理有实际帮助。
大数据新视界 --面向数据分析师的大数据大厂之 MySQL 基础秘籍:轻松创建数据库与表,踏入大数据殿堂
|
12天前
|
SQL 关系型数据库 MySQL
MySQL下载安装全攻略!小白也能轻松上手,从此数据库不再难搞!
这是一份详细的MySQL安装与配置教程,适合初学者快速上手。内容涵盖从下载到安装的每一步操作,包括选择版本、设置路径、配置端口及密码等。同时提供基础操作指南,如数据库管理、数据表增删改查、用户权限设置等。还介绍了备份恢复、图形化工具使用和性能优化技巧,帮助用户全面掌握MySQL的使用方法。附带常见问题解决方法,保姆级教学让你无忧入门!
MySQL下载安装全攻略!小白也能轻松上手,从此数据库不再难搞!
|
3天前
|
关系型数据库 MySQL 定位技术
MySQL与Clickhouse数据库:探讨日期和时间的加法运算。
这一次的冒险就到这儿,期待你的再次加入,我们一起在数据库的世界中找寻下一个宝藏。
25 9
|
1月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
1月前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
|
1月前
|
关系型数据库 MySQL 大数据
大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)
本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。
|
2月前
|
关系型数据库 MySQL Java
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
|
2月前
|
关系型数据库 MySQL 数据库连接
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
471 82
|
4月前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决