Kylin 源码阅读笔记

简介: JDBC 入口开始分析jdbc 数据查询接口依次按如下步骤完成 kylin 的查询内容(这里省略了函数实现内容,以减少篇幅):1. KylinClient.

JDBC 入口开始分析

jdbc 数据查询接口依次按如下步骤完成 kylin 的查询内容(这里省略了函数实现内容,以减少篇幅):

1. KylinClient.executeQuery()             --- 从这里开始是在 jdbc 包中
2. KylinClient.executeKylinQuery()
3. QueryController.query()                --- 从这里开始是在 server-base 包中
4. QueryService.doQueryWithCache()
5. QueryService.queryAndUpdateCache()
6. QueryService.query()
7. QueryService.queryWithSqlMassage()
8. QueryService.executeRequest()
9. QueryConnection.getConnection().executeQuery()

查询引擎分析

进入到 QueryConnection 中时,其实已经进入到了 kylin-query 模块(kylin query engine based on Calcite), 其主要是以 Calcite 为基础,自定义SchemaFactory来定义 Schema, 及表结构,如下先简单介绍 Calcite 实现 SQL 查询引擎的基础流程:

1. 通过实现SchemaFactory接口的插件类, 执行create方法, 完成schema的实例化 
   - 具体的插件类在schema文件中的factory字段指定了
   - create方法中的参数通过schema文件中的operand字段指定
   - create方法会实例化一个具体的实现了Schema接口的Schema类(用户自己的Schema类)
2. 一个Schema类的作用在于管理和自己相关的表和函数 
   - 用户自定义的Schema类Override了Map<String, Table> getTableMap()方法
3. Schema类产生的表均实现了Calcite的Table接口 
   - 官方提供的几种实现该Table接口的抽象类,用户可以继承
   - 用户的每一种Table类均可以给出自己的数据读写方法
4. Calcite supports query optimization by adding planner rules.
5. Table scans are the leaves of a query operator tree. The usual implementation is `EnumerableTableScan`
6. 用户自己实现的`TableScan`类中会注册用户自行添加的规则Rule类
7. 用户自己实现的`TableScanRule`类(需要继承`RelOptRule`抽象类)负责具体的实现

因此,在 kylin 中主要是在 OLAPSchemaFactory 类中完成 OLAPSchema 实例化,然后在 OLAPSchema 中对 OLAPTable 进行实例化。

1. OLAPSchema        ---- 元数据
2. OLAPTable         ---- 基础表
3. OLAPTableScan     ---- 自定义的查询规则

其中 OLAPQuery 中定义了 四 种不同类型的查询方式。

通过上述内容可得,kylin 系统中的查询过程通过对 Calcite 的自定义查询规则的方式来加速查询过程,对关键的查询语句进行缓存,从而达到快速查询的过程。

目录
相关文章
|
6月前
|
Web App开发 前端开发 Java
Apache Zeppelin系列教程第二篇——整体架构
Apache Zeppelin系列教程第二篇——整体架构
162 0
|
11月前
|
资源调度 前端开发 Java
深度剖析Dinky源码(上)
深度剖析Dinky源码
413 0
|
11月前
|
SQL 资源调度 前端开发
深度剖析Dinky源码(下)
深度剖析Dinky源码(下)
324 0
|
SQL Web App开发 JSON
深度剖析Dinky源码
深度剖析Dinky源码
887 0
|
SQL 资源调度 分布式计算
CDH+Kylin三部曲之三:Kylin官方demo
本文是《CDH+Kylin三部曲》系列的终篇,一起来实践kylin官方的demo
114 2
CDH+Kylin三部曲之三:Kylin官方demo
|
SQL 分布式计算 Hadoop
Kylin的入门实战
Kylin 是一个 Hadoop 生态圈下的 MOLAP 系统,是 ebay 大数据部门从2014 年开始研发的支持 TB 到 PB 级别数据量的分布式 Olap 分析引擎。
366 0
Kylin的入门实战
|
SQL 分布式计算 安全
吐血整理的Hadoop最全开发指南【环境准备篇】(上)
吐血整理的Hadoop最全开发指南【环境准备篇】
212 0
吐血整理的Hadoop最全开发指南【环境准备篇】(上)
|
存储 分布式计算 安全
吐血整理的Hadoop最全开发指南【环境准备篇】(下)
吐血整理的Hadoop最全开发指南【环境准备篇】(下)
248 0
吐血整理的Hadoop最全开发指南【环境准备篇】(下)
|
SQL 机器学习/深度学习 分布式计算
BigData之Spark:Spark计算引擎的简介、下载、经典案例之详细攻略续篇
BigData之Spark:Spark计算引擎的简介、下载、经典案例之详细攻略续篇
下一篇
无影云桌面