Hive【非交互式使用、三种参数配置方式】

简介: Hive【非交互式使用、三种参数配置方式】

前言

       今天开始学习 Hive,因为毕竟但凡做个项目基本就避不开用 Hive ,争取这学期结束前做个小点的项目。

       第一篇博客内容还是比较少的,环境的搭建配置太琐碎没有写。

Hive 常用使用技巧

交互式使用

就是我们正常的进入 hive 命令行下的使用模式。

非交互式使用

所谓非交互式,也就是不需要进入 hive 命令行,直接在我们 linux Shell 命令行中执行。

hive -e

# 一段带字符串的 SQL 
-e <quoted-query-string>    SQL from command line

案例:

[lyh@hadoop102 hive-3.1.2]$ hive -e "insert into stu values(2,'lyh')"

hive -f

# 执行文件中的所有 SQL
-f <filename>    SQL from filename

案例:

将要执行的sql写入一个文件:

vim stu.sql
#写如以下sql 用分号隔开
insert into stu values(3,"ls");
select * from stu;

执行:

[lyh@hadoop102 ~]$ hive -f stu.sql

Hive 参数配置方式

(1)查看当前所有的配置信息

hive> set;

(2)查看某个参数的配置信息

# 查看reduce开启的数量
hive(default)>set mapreduce.job.reduces;

(3)设置参数

1. hive-site.xml

这种设置参数的方式全局永久生效。

2. 命令行参数

启动 Hive 时,可以在命令行添加 -hiveconf param=value 的方式来设置参数。

这种设置参数的方式全局仅对本次 Hive 启动生效。

# 设置一个作业中reduce开启的数量
[lyh@hadoop102 hive-3.1.2]$ hive -hiveconf mapreduce.job.reduces=10;
3.参数声明方式

可以在 HQL 中使用 SET 关键字来设定参数:

hive(default)> set mapreduce.job.reduces=10;

同样,仅对本次Hive 启动生效。

查看参数设置:

hive(default)> set mapreduce.job.reduces;
总结

       上面三种参数设置方式的优先级为 hive-site.xml < 命令行参数 < 参数声明 。除了某些系统级的参数,比如 log4j 相关的设置,必须使用前两种设置方式,因为那些参数的读取已经在会话建立前已经完成了。

相关文章
|
7月前
|
SQL 数据库 HIVE
记录hive数据库远程访问配置问题
记录hive数据库远程访问配置问题
163 0
|
SQL 分布式计算 Hadoop
55 Hive Shell参数
55 Hive Shell参数
57 0
|
SQL 安全 Java
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
68 2
|
2月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
49 3
|
2月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
64 2
|
7月前
|
SQL 存储 分布式计算
Hive详解、配置、数据结构、Hive CLI
Hive详解、配置、数据结构、Hive CLI
133 0
Hive详解、配置、数据结构、Hive CLI
|
7月前
|
SQL 分布式计算 资源调度
一文看懂 Hive 优化大全(参数配置、语法优化)
以下是对提供的内容的摘要,总长度为240个字符: 在Hadoop集群中,服务器环境包括3台机器,分别运行不同的服务,如NodeManager、DataNode、NameNode等。集群组件版本包括jdk 1.8、mysql 5.7、hadoop 3.1.3和hive 3.1.2。文章讨论了YARN的配置优化,如`yarn.nodemanager.resource.memory-mb`、`yarn.nodemanager.vmem-check-enabled`和`hive.map.aggr`等参数,以及Map-Side聚合优化、Map Join和Bucket Map Join。
386 0
|
7月前
|
SQL HIVE
Hive【基础知识 04】【Hive 属性配置的三种方式及配置的优先级说明】
【4月更文挑战第7天】Hive【基础知识 04】【Hive 属性配置的三种方式及配置的优先级说明】
128 0
|
SQL 分布式计算 Hadoop
配置Hive使用Spark执行引擎
在Hive中,可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括:默认MR、tez、spark。
289 0
下一篇
DataWorks