大数据体系和SQL
大数据体系
批试分析，实时分析，交互分析都是SQL的应用场景。
SQL的处理流程
- SQL是一种声明式语言，用户只描述做什么，没有告诉数据库怎么做
- SQL也是很多系统都支持的接口
🎈 SQL的处理流程经过了四个组件，分别是Parser、Analyzer、Optimizer、Executor
- Parser：把SQL的输入编程AST的输出
- Analyzer：AST经过Analyzer处理，输出Logical Plan这种逻辑计划
- Optimizer：Logical Plan经过Optimizer（优化器）处理，之后输出物理的执行计划Physical Plan
- Executor：Physical Plan最后经过Executor处理，返回结果给用户
- 下面详细说一下四个组件
Parser
- Parser的输出是AST（抽象语法树），要输出AST则要经过两个步骤：语法分析的词法分析
- 语法分析：拆分字符串，得到关键词，数值常量，字符串常量，运算符号等token
- 词法分析：将token组成AST node，最终得到AST
Analyzer
Analyzer可以：
- 检查并绑定Database,Table,Column等元信息
- SQL的合法性检查，比如min/max/avg都是输入的数值，不能是字符串等
- 将AST转成Logical Plan这种逻辑计划
- Logical Plan:逻辑地描述SQL对应的分步骤计算操作
- 计算操作：算子（operator）
Optimizer
🎈 Optimizer是查询优化，是一个重点
- 查询计划的目标：找到一个正确且执行代价最小的物理执行计划
- 查询优化器是数据库的大脑，最复杂的模块，很多相关问题都是NP的（有时无法取得最优解）
- 一般SQL越复杂Join的表越多，数据量越大，查询优化的意义就越大，因为不同执行方式的性能差别可以有成百上千倍
Executor
🎈 Executor两种运行模式：
- 单机并行：cache,pipeline,SIMD
- 多级并行：一个fragment对应多个实例
🎈 Plan Fragment:执行计划子树：
- 目标：最小化网络数据传输
- 利用上数据的物理分布（数据亲和性）
- 增加Sshuffle算子
SQL的处理主要包括解析（parse）、执行（execute）、提取（fetch）几个步骤。
SQL的执行流程：
1、在打开客户端后，最初需要和sql服务器建立连接，账号认证和校验权限。
2、认证后，客户端发生查询sql脚本给服务器
3、服务器先检查查询缓存，如果命中了缓存，则立刻返回存储在缓存中的结果。否则进入下一阶段。
4、服务器端进行SQL解析、预处理，再由优化器生成对应的执行计划。
5、MySQL根据优化器生成的执行计划，再调用存储引擎的API来执行查询。
6、将结果返回给客户端。
查询优化器
常见的查询优化器
按照遍历树的顺序划分：
Top-down Optimizer：
- 从目标输出开始，由上往下遍历计划树，找到完整的最优执行计划
- 例子：Volcano/Cascade,SQLServer
Bottom-up Optimizer：
- 从零开始，由下往上遍历计划树，找到完整的最优执行计划
- 例子：System R,PostgreSQL,IBM DB2
根据优化方法划分：
Rule-based Optimizer(RBO)
- 根据关系代数等价语义，重写查询
- 基于启发式规则
- 会访问表的元信息（catalog），不会涉及具体的表数据（data）
- Cost-base Optimizer(CBO)
- 使用一个模型估算执行计划的代价，选择代价最小的执行计划。
🎈 即RBO基于 规则，CBO基于 代价
RBO
关系代数
- 运算符和等价代换
优化原则
- 优化IO：读更少数据且更快
- 优化网络：传输的数据更少且更快
- 优化CPU和内存：处理数据更少且更快
优化方式
列裁剪
谓词下推
传递闭包
Runtime Filter
- RBO优点：实现简单，优化速度快；缺点是不保证得到最优的执行计划
CBO
🎈使用一个模型估算执行计划的代价，选择代价最小的执行计划。
- 执行计划的代价等于所有算子的执行代价之和
- 通过RBO得到可能的等价执行计划
🎈算子代价：CPU，内存等代价
- 和算子输入数据的统计信息有关
- 叶子算子Scan：通过统计原始表数据得到
- 中间算子：根据一定的推导规则，从下层算子的统计信息推导得到
CBO统计信息的收集方式
- 在DDL里指定需要收集的统计信息，数据库会在数据写入时收集或者更新统计信息
- 手动执行explain analyze statement,触发数据库收集或者更新统计信息
- 动态采样
CBO小结
- CBO使用代价模型和统计信息估算执行计划的代价
- CBO使用贪心或者动态规划算法寻找最优执行计划
- 在大数据场景下CBO对查询性能非常重要
