hive0.13 cli启动缓慢问题

简介:

  hive由0.11升级至0.13之后,cli的启动时间由5s增加为10s,影响了部分etl job的运行时间,经过debug,发现时间主要消耗在下面3个地方:
1. hadoop jar的时候要把相关的jar包上传到hdfs中(这里大概消耗5s,hive0.11一样,这个地方不太好优化)
2. 在每次hive cli启动的时候,初始化HiveMetaStore时,在init时,会调用下面3个方法,创建default db,role ,admin。

具体代码:

1
2
3
4
5
synchronized  (HMSHandler. class ) {
   createDefaultDB();
   createDefaultRoles();
   addAdminUsers();
}

生成环境这些都是有的,不需要每次都创建,这里可以直接注释掉.
3. 还有5s是在加载.hiverc的文件时造成的。
在做Create function的analyze时,会通过FunctionSemanticAnalyzer类的addEntities方法操作元数据。在hive0.11中是没有这个方法的。

关于这个方法,看说明是和function的权限有关系的,我们目前不需要。
Add write entities to the semantic analyzer to restrict function creation to priviliged users.

在测试环境直接注释掉没有发现什么影响。

具体实现放在后面分析。



本文转自菜菜光 51CTO博客,原文链接:http://blog.51cto.com/caiguangguang/1541746,如需转载请自行联系原作者

相关文章
|
SQL 分布式计算 HIVE
Hive Cli / HiveServer2 中使用 dayofweek 函数引发的BUG!
在Hive 3.1.2和Spark 3.0.2集群环境中,遇到`dayofweek`函数bug。当`create_date`为字符串类型时,`dayofweek`函数结果错位。修复方法是将`create_date`转换为`date`类型。在Spark SQL中,原始代码能正常运行,未出现此问题。因此建议在Hive中使用转换后的日期类型以避免错误。
213 4
|
SQL 存储 分布式计算
Hive详解、配置、数据结构、Hive CLI
Hive详解、配置、数据结构、Hive CLI
273 0
Hive详解、配置、数据结构、Hive CLI
|
SQL 存储 分布式计算
Hive【基础知识 02-2】【Hive CLI 命令行工具使用】【详细举例-包含测试脚本文件】
【4月更文挑战第7天】Hive【基础知识 02-2】【Hive CLI 命令行工具使用】【详细举例-包含测试脚本文件】
363 0
|
SQL 关系型数据库 MySQL
Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
【4月更文挑战第7天】Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
196 0
|
SQL 数据库 HIVE
数据仓库的Hive的Hive架构的用户接口的CLI
Hive提供了一系列用户接口,可以方便地进行数据仓库的管理和操作。其中,CLI(命令行界面)是一种非常常用的用户接口,可以通过命令行进行Hive的管理和操作。
256 0
|
SQL JSON HIVE
函数分类,HIVE CLI命令,简单函数,聚合函数,集合函数,特殊函数(窗口函数,分析函数,混合函数,UDTF),常用函数Demo
1.1. 函数分类 1.2. HIVE CLI命令 显示当前会话有多少函数可用 SHOW FUNCTIONS; 显示函数的描述信息 DESC FUNCTION concat; 显示函数的扩展描述信息 DESC FUNCTION EXTENDED concat; 1.3. 简单函数 函数的计算粒度为单条记录。 关系运算 数学运算 逻辑运算 数值计算 类型转换 日期函数 条件函数 字
3112 0
|
SQL Shell HIVE
Hive CLI
1552 0

热门文章

最新文章