SQL 数据库查询的优化工具及实用
这是MaxCompute有关SQL优化器原理的系列文章之一,本文主要是对数据库查询优化器的一个综述,包括:
查询优化器定义、分类
查询优化器执行过程
CBO框架Calcite简介
1.查询优化器是什么
数据库主要由三部分组成,分别是解析器、优化器和执行引擎,如下图所示:
其中优化器是数据库中用于把关系表达式转换成执行计划的核心组件,很大程度上决定了一个系统的性能。
Flink UDF自动注册实践
1.注册UDF函数1.1 注册相关方法此处,我们使用的udf函数为标量函数,它继承的是ScalarFunction,该类在我们的使用中,发现它继承自UserDefinedFunction这个类,该处的udf函数由用户自己定义,而函数的注册此处我们自己实现;
函数注册时,使用flink的tableE.
Flink Broadcast State实用指南
从1.5.0开始,Flink提供了一种新的State类型,称为Broadcast State。在这篇文章中,我们将解释什么是Broadcast State,并展示如何将其应用于评估事件流上的动态模式的应用的示例。
Flink常见异常和错误信息小结
Flink的常见异常众多,不可能面面俱到,所以想到哪儿写到哪儿,有漏掉的之后再补充。部署和资源问题(0) JDK版本过低这不是个显式错误,但是JDK版本过低很有可能会导致Flink作业出现各种莫名其妙的问题,因此在生产环境中建议采用JDK 8的较高update(我们使用的是181)。
数据中台的存储系统和计算平台枚举
采集&传输层
SqoopHadoop、关系型数据库之间传输数据的工具。传输时,会启动多个MR作业并发的传输数据
DataX阿里巴巴开源的数据同步工具,用来在各种异构数据源之间同步数据。