MySql-Proxy之多路结果集归并

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

MySql-Proxy之多路结果集归并

笔者觉得Cobar之类的分库分表最神奇的部分就是靠一条sql查询不同schema下(甚至不同实例下)的不同的表。例如

select * from t_test; // 映射为
    |------select * from schema1.t_test
    |------select * from schema2.t_test
ResultSet // 返回结果集为两者的归并    
    |--schema1.t_test.ResultSet
    |--schema2.t_test.ResultSet

以笔者这种刨根到底的性格当然要把这个过程DIY出来。
由于Cobar对MySql的连接是BIO的。而笔者喜欢NIO,于是用NIO将Corbar的多节点查询全部重写(基于Netty)。NIO的难度更大,性能也更好,这个重写的过程就记录成博客,以飨读者。

多路归并原理

多节点发送select语句

lancelot_select
当客户端发送给select * from test后,Lancelot会根据配置将语句将当前语句路由到多个不同的DB实例上,如上图所示。
FrontEnd:用来和client交互,一个FrontEnd可以对应多个Backend
BackEnd:用来和DB交互

多节点归并结果集

result_set
每条语句在一个DB实例上面执行后,都会返回一个ResultSet结果集,在此需要将多个结果集归并成一个统一的结果集,然后返回给client,这样client就感觉像查询一个DB实例一样。
如上图所示,归并过程在下面讲解。

归并ResultSet结果集

在讲如何归并前,我们需要重温一下MySql返回结果集的结构,
其详细描述见笔者博客:

https://my.oschina.net/alchemystar/blog/834150

其协议格式如下所示:
result_protocol
由上图可见,
其中的Row才是真正的数据内容。而其余的例如,field_count、fields
、eof以及last_eof则仅仅是携带数据格式的信息。
如果要多路归并成一路的话,field_count、fields、eof以及last_eof这些只需要返回给client一份即可。

去掉多余的结构描述信息

现在根据协议结构将Frontend归并结果集的代码阶段分为三个:
(1)fieldList阶段:
由于field_count、fields、eof这三个阶段是连续的,于是将其合并成一个状态。
(2)Row阶段:顾名思义,接收DB返回的数据阶段。
(3)LastEof阶段:最后的收尾阶段,每个结果集的last_eof表示此结果集的结束,只有所有的last_eof都收到之后才能表示结果的结束。

fieldList阶段的处理:

首先每个Backend都接收field_count,fields,eof。当其接收到eof之后,收到row之前,向Frontend提交这些信息。如下图所示:
lancelot_fields
当Frontend获取到Backend1的feilds信息之后,就开始接收Row,并丢弃其余Backend的fields信息。代码如下:

public void fieldListResponse(List<BinaryPacket> fieldList) {
    lock.lock();
    try {
        if(!isFailed.get()) {
            // 如果还没有传过fieldList的话,则传递
            if (!fieldEofReturned) {
                writeFiledList(fieldList);
                fieldEofReturned = true;
            }
        }
    } finally {
        lock.unlock();
    }
}

Row阶段的处理

当Frontend进入Row阶段之后,处理比较简单,Backend发送的任何Row都向前段传输,如果是Backend的fields信息则丢弃。如下图所示:
lancelot_row

LastEof阶段

每当一个Backend收到last_eof之后,表明当前Backend的结果集已经结束。Frontend需要等所有的Backend结果集结束之后,再发送一个last_eof告诉client,所有的结果已经完了,如下图所示:
last_eof
代码如下所示:

// last eof response
public void lastEofResponse(BinaryPacket bin) {
    lock.lock();
    try {
        logger.info("last eof ");
        if (decrementCountBy()) {
            if (!isFailed.get()) {
                bin.packetId = ++packetId;
                logger.info("write eof okay");
                bin.write(session.getCtx());
                // 如果是自动提交,则释放session
                if(session.getSource().isAutocommit()){
                    session.release();
                }
            }else{
                notifyFailure();
            }
        }
    } finally {
        lock.unlock();
    }
}

例子

运行lancelot中的LanceLotServer的main命令,其就自动连接了我本机的MySql。
配置之类的在SystemConfig中进行修改(现在还没有做到配置文件化)。
我用mysqlclient连接到lancetlot,然后运行select * from test命令。结果如下图所示:
example

GitHub链接

https://github.com/alchemystar/Lancelot

码云链接

https://git.oschina.net/alchemystar/Lancelot

原文链接

https://my.oschina.net/alchemystar/blog/874592

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
5月前
|
SQL 数据可视化 关系型数据库
【MySql】MySQL排序分页查询数据顺序错乱的原因和解决办法
【MySql】MySQL排序分页查询数据顺序错乱的原因和解决办法
237 0
|
7月前
|
索引
MySQL-排序与分组优化
MySQL-排序与分组优化
34 0
|
4月前
|
关系型数据库 MySQL
解决MySQL需要根据特定顺序排序
在进行业务需求的时候,不会根据排序去选择数据。例如,在导出的时候数据排序是根据编辑时间去排序的,那么他的主键id会打乱。假如: 要导出id为 3 ,1 , 2 ,6 , 5 的数据并且根据此顺序导出。
解决MySQL需要根据特定顺序排序
|
7月前
|
关系型数据库 MySQL
mysql排序查询
mysql排序查询
31 0
|
9月前
|
关系型数据库 MySQL Serverless
mysql 查询排序语句
排序语句 order by 升序 asc 降序 desc order by 列名1,列名2。多个排序 order by 2 位置排序 聚合函数 count max min avg 聚合函数计算 排除null 解决方案 ifnull函数 分组查询 GROUP BY where在分组之前进行限定,不满足不参与分组,having如果不满足结果,不会被查询出来 where 后不可以跟聚合函数,having可以进行聚合函数判断 分页查询 limit开始索引,每页查询的数 公式:开始的索引=(当前页码-1)*每页显示的条数
65 0
|
SQL 算法 关系型数据库
mysql连接查询底层算法
mysql连接查询底层算法
145 0
|
SQL 前端开发 关系型数据库
mysql实现一次将多条不同sql查询结果并封装到一个结果集
最近遇到一个统计查询需求,要求一次性查询多个统计信息,其中两个查询信息不在一个表中,也没有业务关联,表中也没有做连接处理。不考虑产品设计是否合理,完全是实际需求如此,需要一次性查询出来返回给前端进行展示,对于这种“非常规”的统计查询平常肯定会遇见,感觉有点代表性,所以简单记录一下。希望对有相同需求的同学可以作为参考。
mysql实现一次将多条不同sql查询结果并封装到一个结果集
|
SQL 搜索推荐 关系型数据库
MySQL分页排序时数据重复问题
MySQL分页排序时数据重复问题分析
434 0
MySQL分页排序时数据重复问题
|
SQL Oracle 关系型数据库
MySQL练习3——查询及结果去重
MySQL练习3——查询及结果去重!
|
SQL IDE 关系型数据库
mysql——去重并获取最新记录
mysql——去重并获取最新记录
690 0
mysql——去重并获取最新记录