开发者社区> 自娱> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

[Hadoop]Hive r0.9.0中文文档(三)之Hive相关命令

简介:
+关注继续查看
一、Hive命令选项 
Usage:
Usage: hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S]

  -i <filename>             Initialization Sql from file (executed automatically and silently before any other commands)
  -e 'quoted query string'  Sql from command line
  -f <filename>             Sql from file
  -S                        Silent mode in interactive shell where only data is emitted
  -hiveconf x=y             Use this to set hive/hadoop configuration variables. 
  
   -e and -f cannot be specified together. In the absence of these options, interactive shell is started.  However, -i can be used with any other options.

   To see this usage help, run hive -h

下面的例子是做一个命令行的查询: 
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

下面的例子是指定Hive配置查询:
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a' -hiveconf hive.exec.scratchdir=/home/my/hive_scratch  -hiveconf mapred.reduce.tasks=32


   
下面的例子是将查询结果导入到文本文件: 
$HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > a.txt


下面的例子是使用SQL文件进行操作:
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql


下面的例子是在进入交互式界面之前跑一个初始化的脚本: 
$HIVE_HOME/bin/hive -i /home/my/hive-init.sql

二、hiverc file 

如果没有-i参数,那么hive会直接进入命令行界面,同时会加载HIVE_HOME/bin/.hiverc and $HOME/.hiverc作为初始化所需要的文件


三、hive交互的Shell命令



Command	Description
quit	 Use quit or exit to leave the interactive shell.
set key=value	 Use this to set value of particular configuration variable. One thing to note here is that if you misspell the variable name, cli will not show an error.
set	 This will print a list of configuration variables that are overridden by user or hive.
set -v	 This will print all hadoop and hive configuration variables.
add FILE [file] [file]*	 Adds a file to the list of resources
list FILE	 list all the files added to the distributed cache
list FILE [file]*	 Check if given resources are already added to distributed cache
! [cmd]	 Executes a shell command from the hive shell
dfs [dfs cmd]	 Executes a dfs command from the hive shell
[query]	 Executes a hive query and prints results to standard out
source FILE	 Used to execute a script file inside the CLI.



例子:
  hive> set  mapred.reduce.tasks=32;
  hive> set;
  hive> select a.* from tab1;
  hive> !ls;
  hive> dfs -ls;

四、Hive日志 

Hive使用Log4j写日志,这些日志将不会以标准输出方式进行输出,默认情况Hive将使用hive-log4j,配置文件在conf目录下,日志输出在 /tmp/$USER/hive.log 下,日志级别为WARN。 

为了Debug,你可以修改日志的输出格式以及改变日志的输出级别,你可以在命令行下使用以下命令:
$HIVE_HOME/bin/hive -hiveconf hive.root.logger=INFO,console 

hive.root.logger 指定了日志的级别以及日志输出位置,输出在控制台。这样日志不会输出到文件中。 

五、Hive 资源 
hive可以管理查询有效的附加资源到Session中。任何本地的acessible文件会加入到这个session,hive加载这个文件到session中后可以进行相关的map/reduce任务,hive使用haddop cache来处理被加载的文件。
   ADD { FILE[S] | JAR[S] | ARCHIVE[S] } <filepath1> [<filepath2>]*
   LIST { FILE[S] | JAR[S] | ARCHIVE[S] } [<filepath1> <filepath2> ..]
   DELETE { FILE[S] | JAR[S] | ARCHIVE[S] } [<filepath1> <filepath2> ..] 


文件资源仅被添加到目标cache中。Jar资源将被添加到Java classpath中。ARCHIVE资源将被自动添加来描述他们。 
例如: 
hive> add FILE /tmp/tt.py;
hive> list FILES;
/tmp/tt.py
hive> from networks a  MAP a.networkid USING 'python tt.py' as nn where a.ds = '2009-01-04' limit  10;



如果命令在所有节点上均有效就没有必要加入到Session中. For example:
... MAP a.networkid USING 'wc -l' ...: here wc is an executable available on all machines
... MAP a.networkid USING '/home/nfsserv1/hadoopscripts/tt.py' ...: here tt.py may be accessible via a nfs mount point that's configured identically on all the 

cluster nodes.

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
hadoop安装使用的命令+linux基本操作命令+HDFS常用命令
一、Hadoop基本安装主要包括以下6个步骤: 1.创建Hadoop用户。 2.更新apt和安装Vim编辑器。 3.安装SSH和配置SSH无密码登录。 4.安装Java环境。 5.安装单机Hadoop。 6.HDFS:启动
0 0
hadoop安装过程命令汇总(下)
hadoop安装过程命令汇总(下)
0 0
hadoop安装过程命令汇总(中)
hadoop安装过程命令汇总(中)
0 0
hadoop安装过程命令汇总(上)
hadoop安装过程命令汇总(上)
0 0
Hadoop常见命令总结
常见基础命令: • 启动Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/start-all.sh • 关闭Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/stop-all.sh
0 0
Hadoop运行环境搭建(开发重点一)、模板虚拟机环境准备、卸载虚拟机自带的JDK、安装epel-release、配置summer用户具有root权限,方便后期加sudo执行root权限的命令
安装模板虚拟机,IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G、hadoop100虚拟机配置要求如下(本文Linux系统全部以CentOS-7-x86_64-DVD-2009为例)、使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况、注意:如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作、创建summer用户,并修改summer用户的密码、在/opt目录下创建文件夹,并修改所属主和所属
0 0
Hadoop常用shell命令
Hadoop常用shell命令
0 0
hadoop 的启动和停止命令(史上最全)
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode sbin/stop-dfs.sh 停止Hadoop
0 0
+关注
自娱
阿里巴巴无线客户端性能与安全负责人 Gradle中文文档作者
文章
问答
文章排行榜
最热
最新
相关电子书
更多
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
立即下载
Why is my Hadoop* job slow
立即下载
自建Hadoop数据如何托管到MaxCompute
立即下载