hive lock的配置问题

简介:

hive在0.7版本之后开始支持并发,线上的环境是用zookeeper做hive的锁管理。

hive目前主要有两种锁,SHARED(共享锁s)和IMPLICIT(排他锁x)。


hive的锁在某些情况下会影响job的效率。在对数据一致性要求不高或者已经明确了解到lock不会对job产生影响的情况下可以在session级别关闭lock的支持。

场景1:

离线下载分析商业cdn的qos job。

使用load data将数据导入hive中,hive的表按dt,hour,domain进行明确分区,因此,是否有锁对数据的一致性影响不大,反而有了锁之后,job之间就会有锁竞争的问题(报错信息:conflicting lock present for table  mode EXCLUSIVE)。


调整job:

hive --database cdnlog -e "set hive.support.concurrency=false;load data local inpath 'file' OVERWRITE into table chinanetcenter_log_origin partition(dt='2013-12-17',hour='04',domain='xxx')"

数据load时就不会有报错了,效率也高了不少


场景2:

hive锁的几个配置

hive.lock.numretries #重试次数
hive.lock.sleep.between.retries #重试时sleep的时间

hive默认的sleep时间是60s,比较长,在高并发场景下,可以减少这个的数值来提供job的效率。



本文转自菜菜光 51CTO博客,原文链接:http://blog.51cto.com/caiguangguang/1344453,如需转载请自行联系原作者

相关文章
|
4月前
|
SQL 数据库 HIVE
记录hive数据库远程访问配置问题
记录hive数据库远程访问配置问题
117 0
|
7月前
|
SQL 安全 Java
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用
|
2天前
|
SQL 存储 分布式计算
Hive详解、配置、数据结构、Hive CLI
Hive详解、配置、数据结构、Hive CLI
17 0
Hive详解、配置、数据结构、Hive CLI
|
22天前
|
SQL HIVE
Hive【基础知识 04】【Hive 属性配置的三种方式及配置的优先级说明】
【4月更文挑战第7天】Hive【基础知识 04】【Hive 属性配置的三种方式及配置的优先级说明】
13 0
|
5月前
|
SQL Java Shell
Hive【非交互式使用、三种参数配置方式】
Hive【非交互式使用、三种参数配置方式】
|
7月前
|
SQL 分布式计算 Hadoop
配置Hive使用Spark执行引擎
在Hive中,可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括:默认MR、tez、spark。
157 0
|
7月前
|
SQL 分布式计算 Java
如何在 hive udf 中访问配置数据-踩坑记录,方案汇总与对比-udf中可以写sql吗?
如何在 hive udf 中访问配置数据-踩坑记录,方案汇总与对比-udf中可以写sql吗?
|
7月前
|
SQL 分布式计算 关系型数据库
Hive-安装与配置(1)
Hive-安装与配置(1)
163 0
|
8月前
|
SQL 存储 分布式计算
大数据Hive参数配置
大数据Hive参数配置
91 0
|
9月前
|
SQL 分布式计算 Hadoop
配置开启Hive远程连接
使用IDEA工具远程连接Hive,首先需要配置开启Hive远程连接支持,主要有2种方式来配置开启Hive远程连接。
221 0
配置开启Hive远程连接