MySql-Proxy之多路结果集归并-阿里云开发者社区

开发者社区> 无毁的湖光> 正文

MySql-Proxy之多路结果集归并

简介:
+关注继续查看

MySql-Proxy之多路结果集归并

笔者觉得Cobar之类的分库分表最神奇的部分就是靠一条sql查询不同schema下(甚至不同实例下)的不同的表。例如

select * from t_test; // 映射为
    |------select * from schema1.t_test
    |------select * from schema2.t_test
ResultSet // 返回结果集为两者的归并    
    |--schema1.t_test.ResultSet
    |--schema2.t_test.ResultSet

以笔者这种刨根到底的性格当然要把这个过程DIY出来。
由于Cobar对MySql的连接是BIO的。而笔者喜欢NIO,于是用NIO将Corbar的多节点查询全部重写(基于Netty)。NIO的难度更大,性能也更好,这个重写的过程就记录成博客,以飨读者。

多路归并原理

多节点发送select语句

lancelot_select
当客户端发送给select * from test后,Lancelot会根据配置将语句将当前语句路由到多个不同的DB实例上,如上图所示。
FrontEnd:用来和client交互,一个FrontEnd可以对应多个Backend
BackEnd:用来和DB交互

多节点归并结果集

result_set
每条语句在一个DB实例上面执行后,都会返回一个ResultSet结果集,在此需要将多个结果集归并成一个统一的结果集,然后返回给client,这样client就感觉像查询一个DB实例一样。
如上图所示,归并过程在下面讲解。

归并ResultSet结果集

在讲如何归并前,我们需要重温一下MySql返回结果集的结构,
其详细描述见笔者博客:

https://my.oschina.net/alchemystar/blog/834150

其协议格式如下所示:
result_protocol
由上图可见,
其中的Row才是真正的数据内容。而其余的例如,field_count、fields
、eof以及last_eof则仅仅是携带数据格式的信息。
如果要多路归并成一路的话,field_count、fields、eof以及last_eof这些只需要返回给client一份即可。

去掉多余的结构描述信息

现在根据协议结构将Frontend归并结果集的代码阶段分为三个:
(1)fieldList阶段:
由于field_count、fields、eof这三个阶段是连续的,于是将其合并成一个状态。
(2)Row阶段:顾名思义,接收DB返回的数据阶段。
(3)LastEof阶段:最后的收尾阶段,每个结果集的last_eof表示此结果集的结束,只有所有的last_eof都收到之后才能表示结果的结束。

fieldList阶段的处理:

首先每个Backend都接收field_count,fields,eof。当其接收到eof之后,收到row之前,向Frontend提交这些信息。如下图所示:
lancelot_fields
当Frontend获取到Backend1的feilds信息之后,就开始接收Row,并丢弃其余Backend的fields信息。代码如下:

public void fieldListResponse(List<BinaryPacket> fieldList) {
    lock.lock();
    try {
        if(!isFailed.get()) {
            // 如果还没有传过fieldList的话,则传递
            if (!fieldEofReturned) {
                writeFiledList(fieldList);
                fieldEofReturned = true;
            }
        }
    } finally {
        lock.unlock();
    }
}

Row阶段的处理

当Frontend进入Row阶段之后,处理比较简单,Backend发送的任何Row都向前段传输,如果是Backend的fields信息则丢弃。如下图所示:
lancelot_row

LastEof阶段

每当一个Backend收到last_eof之后,表明当前Backend的结果集已经结束。Frontend需要等所有的Backend结果集结束之后,再发送一个last_eof告诉client,所有的结果已经完了,如下图所示:
last_eof
代码如下所示:

// last eof response
public void lastEofResponse(BinaryPacket bin) {
    lock.lock();
    try {
        logger.info("last eof ");
        if (decrementCountBy()) {
            if (!isFailed.get()) {
                bin.packetId = ++packetId;
                logger.info("write eof okay");
                bin.write(session.getCtx());
                // 如果是自动提交,则释放session
                if(session.getSource().isAutocommit()){
                    session.release();
                }
            }else{
                notifyFailure();
            }
        }
    } finally {
        lock.unlock();
    }
}

例子

运行lancelot中的LanceLotServer的main命令,其就自动连接了我本机的MySql。
配置之类的在SystemConfig中进行修改(现在还没有做到配置文件化)。
我用mysqlclient连接到lancetlot,然后运行select * from test命令。结果如下图所示:
example

GitHub链接

https://github.com/alchemystar/Lancelot

码云链接

https://git.oschina.net/alchemystar/Lancelot

原文链接

https://my.oschina.net/alchemystar/blog/874592

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
mysql 查询结果异常分析
--- title: MySQL · mysql · mysql 查询结果异常分析 author: 张远 --- # 现象 查询条件类型变化后,查询出了不正确的结果。 ``` create table t1(id int primary key, a varchar(50) DEFAULT NULL, key idx_a(a)) engine=innodb; sho
1641 0
mysql 查询结果中增加序号
select @x:=ifnull(@x,0)+1 as rownum,person_id from t_base_person
898 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4616 0
将mysql的查询结果导出为csv
要将mysql的查询结果导出为csv,一般会使用php连接mysql执行查询,将返回的查询结果使用php生成csv格式再导出。 但这样比较麻烦,需要服务器安装php才可以实现。  直接使用mysql导出csv方法 我们可以使用 into outfile, fields terminated b...
1439 0
【Python】转换mysql 结果集为词典类型
Python的MySQLdb模块是Python连接MySQL的一个模块, 使用MySQLdb 模块获取mysql中的记录,默认查询结果返回是tuple类型,只能通过0,1等索引下标访问数据。
584 0
MySQL---数据库从入门走向大神系列(十一)-Java获取数据库/结果集的元信息、将数据表写入excel表格
数据库的元信息: 首先介绍一下数据库的元信息(元数据): 元数据(Metadata)是关于数据的数据。 元数据是描述数据仓库内数据的结构和建立方法的数据。 存储的数据是什么类型,什么驱动等等,这些描述数据的数据,就是元数据! 准备: package cn.
1243 0
mysql——通过命令将sql查询的结果导出到具体文件
mysql——通过命令将sql查询的结果导出到具体文件 最近在修改线上数据的时候,需要现将修改的数据继续备份,但是线上客户的服务器是不能直接连接,而是通过了一台堡垒机,这就说我们不能通过可视化客户端直接连接mysql的,所以所有的操作都是需要通过sql语句的,下面看一下导出的sql: mysql.
1258 0
+关注
无毁的湖光
无论多么艰难的时刻,都不要忘记。辉煌的未来,在你的眼中闪耀!
17
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载