Hive基础架构

简介: Hive基础架构

image.png

 

image.png

 

 

 

hive组件

元数据存储

通常是存储在关系数据库如mysql/derby中的元数据包括表的名字,表的列和分区其属性,表的属性(是否为外部表等),表的数据所在的目录等

hive提供了Metastore服务进程提供元数据管理功能

 

Driver驱动程序,包括语法解析器,计划编译器,优化器,执行器

完成HQL查询语句从词法分析,语法分析,编译,优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后有执行引擎调用执行

这部分内容不是具体的服务进程,而是封装在Hive所依赖的jar文件即java代码中

 

用户接口

包括CLIJDBC/ODBCwebGUI,其中CLIcommand line interface)为shell命令行;hive中的Thrift服务器运行外客户端通过网络与Hive进行交互,类似于JDBCODBC协议,WebGUI是通过浏览器访问Hive

Hive提供了Hive ShellThriftServer等服务进程向用户提供操作接口

 

 

Hive的核心架构包含的有

元数据管理,称之为Metastore服务

SQL解析器(Driver驱动程序),完成SQL解析,执行优化,代码提交等功能

用户接口:提供用户和Hive交互的功能

 

 

目录
相关文章
|
1月前
|
SQL 存储 分布式计算
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
510 0
|
1月前
|
SQL 存储 分布式计算
Hive【基础 01】核心概念+体系架构+数据类型+内容格式+存储格式+内外部表(部分图片来源于网络)
【4月更文挑战第6天】Hive【基础 01】核心概念+体系架构+数据类型+内容格式+存储格式+内外部表(部分图片来源于网络)
50 1
|
7月前
|
SQL 存储 Java
45 Hive架构
45 Hive架构
25 0
|
10月前
|
SQL 存储 大数据
关于数据仓库的Hive的Hive架构的MetaStore元数据服务
随着大数据技术的不断发展,数据仓库成为了企业中不可或缺的一部分。而Hive作为一种开源的数据仓库系统,因其易于使用和高效处理等特点,成为了许多企业的首选。然而,对于普通用户来说,直接使用Hive的命令行工具进行操作并不方便。因此,开发者社区中涌现出了大量的Hive GUI工具,其中最为流行的就是Web GUI工具。
234 2
|
10月前
|
SQL Java 大数据
关于数据仓库的Hive的Hive架构的用户接口的JDBC/ODBC
随着大数据技术的不断发展,数据仓库成为了企业中不可或缺的一部分。而Hive作为一种开源的数据仓库系统,因其易于使用和高效处理等特点,成为了许多企业的首选。然而,对于普通用户来说,直接使用Hive的命令行工具进行操作并不方便。因此,开发者社区中涌现出了大量的Hive GUI工具,其中最为流行的就是Web GUI工具。
253 1
|
10月前
|
SQL 存储 分布式计算
关于数据仓库的Hive的Hive架构的beeline
数据仓库是一个面向分析的数据存储系统,其中包含了大量的历史数据,可以用于数据分析和报表生成。
201 0
|
10月前
|
SQL 存储 分布式计算
数据仓库的Hive的Hive架构的HiveServer2
数据仓库是一个面向分析的数据存储系统,其中包含了大量的历史数据,可以用于数据分析和报表生成。Hive是一个开源的数据仓库系统,基于Hadoop平台,可以存储和处理大规模的数据。HiveServer2是Hive的一个重要组成部分,负责接收来自客户端的SQL请求,并将其转换成物理执行计划,然后执行并返回结果。本文将介绍HiveServer2的架构和作用。
177 0
|
10月前
|
SQL 存储 缓存
关于数据仓库的Hive的Hive架构的Driver的SQL的解析器、编译器、执行器、优化器
数据仓库是一个面向分析的数据存储系统,其中包含了大量的历史数据,可以用于数据分析和报表生成。Hive是一个开源的数据仓库系统,基于Hadoop平台,可以存储和处理大规模的数据。在Hive中,SQL语句被解析器解析成抽象语法树(AST),然后编译器将其转换成物理执行计划,包括执行器和优化器的参与。本文将介绍Hive中SQL解析器、编译器、执行器和优化器的作用和原理。
312 0
|
10月前
|
SQL 监控 数据可视化
关于数据仓库的Hive的Hive架构的用户接口的Web GUI
随着大数据技术的不断发展,数据仓库成为了企业中不可或缺的一部分。而Hive作为一种开源的数据仓库系统,因其易于使用和高效处理等特点,成为了许多企业的首选。然而,对于普通用户来说,直接使用Hive的命令行工具进行操作并不方便。因此,开发者社区中涌现出了大量的Hive GUI工具,其中最为流行的就是Web GUI工具。
200 0
|
11月前
|
SQL 数据库 HIVE
数据仓库的Hive的Hive架构的用户接口的CLI
Hive提供了一系列用户接口,可以方便地进行数据仓库的管理和操作。其中,CLI(命令行界面)是一种非常常用的用户接口,可以通过命令行进行Hive的管理和操作。
115 0