Presto【基础 01】简介+架构+数据源+数据模型+特点(一篇即可入门支持到PB字节的分布式SQL查询引擎Presto)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用版 2核4GB 50GB
简介: Presto【基础 01】简介+架构+数据源+数据模型+特点(一篇即可入门支持到PB字节的分布式SQL查询引擎Presto)

1. 简介

Presto 是一个 facebook 开源的分布式SQL查询引擎,主要用来处理响应时间小于1秒到几分钟的场景。 适用于交互式分析查询数据量支持GB到PB字节。支持在线数据查询,包括 Hive,关系数据库(MySQL、Oracle)以及专有数据存储。查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析。它的架构由关系型数据库的架构演化而来。它能在各个内存计算型数据库中脱颖而出,在于以下几点:

  1. 清晰的架构,是一个能够独立运行的系统,不依赖于任何其他外部系统。例如调度,Presto 自身提供了对集群的监控,可以根据监控信息完成调度。
  2. 简单的数据结构,列式存储,逻辑行,大部分数据都可以轻易的转化成 Presto 所需要的这种数据结构。
  3. 丰富的插件接口,完美对接外部存储系统,或者添加自定义的函数。

需要注意的是:虽然 Presto 可以解析SQL,但它不是一个标准的数据库。不是MySQL、Oracle的代替品,也不能用来处理在线事务(OLTP)。

2. 架构

Presto 是一个运行在多台服务器上的分布式系统。完整安装包括一个 Coordinator 和多个 Worker,这和大多数分布式系统的 Master 和 Slave 主从类似。由客户端提交查询,从 Presto 命令行 CLI 提交到 Coordinator。Coordinator 进行解析,分析并执行查询计划,然后分发处理队列到 Worker。

2.1 Coordinator

  • Coordinator 服务器是用来解析语句,执行计划分析和管理 Presto 的 Worker 节点。Presto 安装 Coordinator 必须有一个,而 Worker 可以有多个。如果用于开发环境或测试,则一个 Presto 实例可以同时担任这两个角色。
  • Coordinator 跟踪每个 Worker 节点的活动情况并协调查询语句的执行。Coordinator 为每个查询建立模型,模型包含多个 Stage,每个 Stage 再转为 Task 分发到不同的 Worker 上执行。
  • Coordinator 与 Worker、Client 通信是通过 REST API。

2.2 Worker

  • Worker 是负责执行任务和处理数据。Worker 从 Connector 获取数据。Worker 之间会交换中间数据。Coordinator 是负责从 Worker 获取结果并返回最终结果给 Client。
  • 当Worker启动时,会广播自己去发现 Coordinator,并告知 Coordinator 它是可用,随时可以接受 Task。
  • Worker 与 Coordinator、Worker 通信同样是通过 REST API。

2.3 数据源

Presto特定的数据源:Connector、Catalog、Schema 和 Table。

  1. Connector n. 连接器,连接头
  • Connector 是适配器,用于 Presto 和数据源(如Hive、RDBMS)的连接。可以认为是类似 JDBC 那样,但却是 Presto 的 SPI 的实现,使用标准的 API 来与不同的数据源交互。
  • Presto 有几个内建 Connector:JMX 的 Connector、System Connector(用于访问内建的 System table)、Hive 的 Connector、TPCH(用于TPC-H基准数据)。还有很多第三方的 Connector,所以Presto 可以访问不同数据源的数据。
  • 每个 Catalog 都有一个特定的 Connector。如果使用 Catalog 配置文件,每个文件都必须包含connector.name 属性,用于指定 Catalog 管理器(创建特定的 Connector 使用)。一个或多个 Catalog 用同样的 connector 是访问同样的数据库。例如,有两个Hive集群。可以在一个 Presto 集群上配置两个 Catalog,两个 Catalog 都是用 Hive Connector,从而达到可以查询两个 Hive 集群的目的。
  1. Catalog n. [图情][计]目录;登记
  • 一个 Catalog 包含 Schema 和 Connector。例如,配置 JMX 的 Catalog,通过 JXM Connector 访问 JXM 信息。当执行一条SQL语句时,可以同时运行在多个 Catalog。
  • Presto 处理 table 时,是通过表的完全限定(fully-qualified)名来找到 Catalog。例如,一个表的权限定名是 hive.test_data.test,则 test 是表名,test_data 是 Schema,Hive 是 Catalog。
  • Catalog 的定义文件是在 Presto 的配置目录中。
  1. Schema n. [计][心理] 模式;计划;图解;概要
  • Schema 是用于组织 table。当通过 Presto 访问 Hive 或 MySQL 时,一个 Schema 会同时转为 Hive 或 MySQL 的同等概念。
  1. Table
  • Table 跟关系型的表定义一样,但数据和表的映射是交给 Connector。

2.4 数据模型

1)Presto 的三层表结构

  • Catalog:对应某一类数据源,例如 Hive 的数据,或 MySQL 的数据。
  • Schema:对应特定数据源中的数据库。
  • Table:对应特定数据库中的表。

2)Presto 的存储单元

  • Page:多行数据的集合,包含多个列的数据,内部仅提供逻辑行,实际以列式存储。
  • Block:一列数据,根据不同类型的数据,通常采取不同的编码方式,了解这些编码方式,有助于自己的存储系统对接 Presto。

3)不同类型的Block

  • Array 类型的,应用于固定宽度的类型,例如 int,long,double。Block 由两部分组成:
  1. boolean valueIsNull[] 表示每一行是否有值。
  2. T values[] 每一行的具体值。
  • 可变宽度的,应用于 String 类数据,由三部分信息组成
  1. Slice:所有行的数据拼接起来的字符串。
  2. int offsets[]:每一行数据的起始便宜位置。每一行的长度等于下一行的起始便宜减去当前行的起始便宜。
  3. boolean valueIsNull[] 表示某一行是否有值。如果有某一行无值,那么这一行的便宜量等于上一行的偏移量。
  • 固定宽度的String类型的,所有行的数据拼接成一长串Slice,每一行的长度固定。
  • 字典:对于某些列,distinct 值较少,适合使用字典保存。主要有两部分组成:
  1. 字典,可以是任意一种类型的 block(甚至可以嵌套一个字典block),block 中的每一行按照顺序排序编号。
  2. int ids[]表示每一行数据对应的 value 在字典中的编号。在查找时,首先找到某一行的id,然后到字典中获取真实的值。

3. 特点

3.1 与MapReduce对比

Presto 中 SQL 运行过程与 MapReduce 对比:

所有阶段均采用管道连接,无需等待时间,无需容错系统,内存到内存数据传输,无需磁盘IO,数据块必须适合内存。

3.2 与Hive对比

1)Presto 与 Hive 对比,都能够处理PB级别的海量数据分析,由于 Presto 是基于内存运算,所以减少没必要的硬盘 IO,所以更快。【硬件成本较高】

2)能够连接多个数据源,跨数据源连表查询,如从 Hive 查询部分,然后从 MySQL 中匹配相关信息。

3)部署也比 Hive 简单,因为 Hive 是基于 HDFS 的,需要先部署 HDFS。

3.3 缺点

1)虽然能够处理PB级别的海量数据分析,但不是代表 Presto 把PB级别都放在内存中计算的。而是根据场景,如 count,avg等聚合运算,是边读数据边计算,再清内存,再读数据再计算,这种耗的内存并不高。但是连表查,就可能产生大量的临时数据,因此速度会变慢,反而 Hive 此时会更擅长。

2)为了达到实时查询,可能会想到用它直连 MySQL 来操作查询,这效率并不会提升,瓶颈依然在MySQL,此时还引入网络瓶颈,所以会比原本直接操作数据库要慢。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
7天前
|
SQL 运维 监控
MSSQL性能调优实战:索引优化、SQL查询效率提升与并发控制策略
在Microsoft SQL Server(MSSQL)的日常运维与性能优化中,精准的策略与技巧是实现高效数据库管理的关键
|
7天前
|
SQL 监控 数据库
MSSQL性能调优实战技巧:索引优化策略、SQL查询重构与并发控制详解
在Microsoft SQL Server(MSSQL)的管理与优化过程中,性能调优是确保数据库高效运行的关键环节
|
7天前
|
SQL 运维 监控
MSSQL性能调优实战:索引深度优化、SQL查询技巧与高效并发控制
在Microsoft SQL Server(MSSQL)的运维环境中,性能调优是确保数据库高效、稳定运行的核心任务
|
7天前
|
SQL 监控 数据库
MSSQL性能调优实战:索引策略优化、SQL查询重写与高效并发管理的具体技巧
在Microsoft SQL Server(MSSQL)的性能调优过程中,索引策略的优化、SQL查询的重写以及高效并发管理是关键环节
|
7天前
|
SQL 运维 监控
MSSQL性能调优实战:索引策略优化、SQL查询重写与智能锁管理
在Microsoft SQL Server(MSSQL)的运维中,性能调优是确保数据库高效运行、满足业务需求的关键环节
|
4天前
|
SQL 存储 关系型数据库
提升SQL查询效率的终极指南
在面试中,SQL调优是考察点,涉及理解与实践。调优步骤包括问题定位、分析及优化。问题可能源于慢查询、性能下降等。分析涉及索引利用、多表连接、查询字段过多等。优化可能需改进索引设计、减少JOIN、优化表结构、数据归档、分库分表、调整参数等。例如,低区分度字段的索引有效性取决于数据分布,不一定是性能瓶颈。数据库参数如`innodb_buffer_pool_size`、`innodb_io_threads`等调整也能提升性能。
|
7天前
|
SQL 监控 数据库
|
7天前
|
SQL 监控 Serverless
MSSQL性能调优实战:索引精细化构建、SQL查询深度优化与并发管理策略
在Microsoft SQL Server(MSSQL)的性能调优实践中,索引的精细化构建、SQL查询的深度优化以及高效的并发管理策略是提升数据库性能不可或缺的三大支柱
|
7天前
|
SQL 运维 数据库
MSSQL性能调优实战:索引策略优化、SQL查询精细调整与并发管理
在Microsoft SQL Server(MSSQL)的运维与优化过程中,性能调优是确保数据库高效运行的关键环节
|
7天前
|
SQL 监控 数据处理
MSSQL性能调优实战:精准索引优化、SQL查询微调与高效并发控制策略
在Microsoft SQL Server(MSSQL)的性能调优过程中,精准索引优化、SQL查询的精细微调以及高效并发控制策略是提升数据库性能的三大关键领域

热门文章

最新文章