Hive进阶

hive配置，命令

hive查询显示列名

set hive.cli.print.header=true; // 打印列名
set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能
set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数

        

          
        
        
        

          

          AI 代码解读
        
      
      

hive默认分隔符 \001

hive命令行中查看当前hive环境变量 !env

hive命令行中查看当前hive及hadoop环境变量 set -v

hive分析结果导出到文件

insert overwrite local directory '/tmp/output' select * from table_name;
insert overwrite local directory '/tmp/output' row format delimited fields terminated by ',' select * from table_name

        

          
        
        
        

          

          AI 代码解读
        
      
      

hive import

import中的这个参数不能和hive的地址一样，这个目录是临时目录，hive会先把数据加载到这个目录，然后再复制到hive表所在的目录
--target-dir /user/hive/warehouse/temp/$hive_table

        

          
        
        
        

          

          AI 代码解读
        
      
      

hive export

sqoop导出sequencefile格式的文件时需要特殊处理（自行百度），默认需要使用textfile

        

          
        
        
        

          

          AI 代码解读
        
      
      

Hive将一行记录拆分成多行

http://blog.csdn.net/u010814849/article/details/77532897

        

          
        
        
        

          

          AI 代码解读
        
      
      

hive子查询

错误信息：Unsupported SubQuery Expression : Correlating expression cannot contain unqualified column references
hive子查询列名要具有确定性，需要给表加个别名
select b from tablename t1 where t1.b in (select b from t2);

        

          
        
        
        

          

          AI 代码解读
        
      
      

Hive SQL

<>  这个符号是不等于的意思，相当于 !=

        

          
        
        
        

          

          AI 代码解读
        
      
      

hive优化

hive优化原则

• hive优化原则，减小map数，减少job数

hive优化参数

set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set mapred.max.split.size=268435456;
set hive.merge.size.per.task=268435456;
set hive.merge.smallfiles.avgsize=134217728;

        

          
        
        
        

          

          AI 代码解读
        
      
      

hive异常定位

• hive创建有分区到外部表时，一定要先增加分区，然后才能查到数据，如果不手动新增分区是查不到数据的
  LTER TABLE adcall ADD IF NOT EXISTS PARTITION(day='$date', hou='$hour');

• hive查询时需要估算下结果的大小，特别时有子查询时，会把查询结果存放到本地，防止中间结果太多硬盘满了

• hive查询不动了，假死，首先查看NodeManager的日志，多半是NodeManager挂掉了，或者处于unhealthy state状态

• job执行报错，可能就是nodemanager的问题，而不是resourcemanager的问题