Hive部署

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: Hive部署

Hive是单机工具,只需要部署在一台服务器即可

hive虽然是单机的,但是它可以提交分布式运行的MapReduce程序运行

 

所以就只需要准备一台服务器提供Hive使用就好了

同时Hive需要使用元数据服务,即需要提供一个关系型数据库,也选择一台服务器安装关系型数据库即可

 

所以

image.png

 

image.png

 

配置Hadoop

Hive的运行依赖于HadoopHDFSMapReduceYARN都依赖)

同时涉及到HDFS文件系统的访问,所以需要配置Hadoop的代理用户

即设置hadoop用户允许代理(模拟)其他用户

 

配置如下内容在Hadoopcore-site.xml中,并分发到其他节点,且重启HDFS集群

image.png

 

下载解压hive

hive解压到服务器的/export/server

image.png

设置软连接image.png

提供mysql driver

将下载好的jar包,放入到Hive安装文件夹的lib目录内

image.png

 

不需要新建,直接使用mv将改名

image.png

给该文件添加配置文件

image.png

 

 

配置Hive

Hiveconf目录内,新建一个hive-site.xml文件,填入配置文件

image.png

 

初始化元数据

hive在启动之前需要先初始化hive所需的元数据库

mysql新建一个数据库:hive

creste database hive charset utf8;

 

执行元数据库初始化命令

之前都是使用root用户去执行的,现在需要使用chown -R hadoop:hadoop 文件名

来把root权限改为hadoop

 

cd /export/server/hive

bin/schematool -initSchema -dbType mysql -verbos

初始化成功后,会在mysql中的hive数据库中新建74张元数据管理的表

 

 

 

启动hive(使用Hadoop用户)

创建一个hive的日志文件夹

mkdir /export/server/hive/logs

 

启动元数据管理服务(必须启动,否则无法工作)

前台启动:bin/hive --service metastore

后台启动:nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

 

启动客户端,二选一

Hive Shell方式(可以直接写sql):bin/hive

Hive ThrftServer方式(不可以直接写sql,需要外部客户端链接使用):bin/hive --Service hiveserver2

 

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
SQL 分布式计算 Java
bigdata-17-Hive部署与Hive基础
bigdata-17-Hive部署与Hive基础
289 0
|
SQL 消息中间件 Kafka
Flink部署问题之hive表没有数据如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
SQL 存储 分布式计算
基于Hadoop数据仓库Hive1.2部署及使用
基于Hadoop数据仓库Hive1.2部署及使用
|
SQL 分布式计算 关系型数据库
hadoop搭建、mysql、hive部署(三)
hadoop搭建、mysql、hive部署
355 0
hadoop搭建、mysql、hive部署(三)
|
SQL 分布式计算 关系型数据库
hadoop搭建、mysql、hive部署(二)
hadoop搭建、mysql、hive部署
237 0
|
SQL 分布式计算 Hadoop
hadoop搭建、mysql、hive部署(一)
hadoop搭建、mysql、hive部署
286 0
|
SQL 存储 分布式计算
Hive详解以及CentOS下部署Hive和Mysql
Hive详解以及CentOS下部署Hive和Mysql
706 0
Hive详解以及CentOS下部署Hive和Mysql
|
SQL 存储 分布式计算
工良出品:包教会,Hadoop、Hive 搭建部署简易教程
导读 Hadoop、Hive 是什么 运行环境 Java 环境 Mysql 下载 Hadoop、Hive 和 驱动 安装 Hadoop core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.cmd 启动 Hadoop 安装 Hive 配置 Hive hive-env.sh hive-site.xml 运行 Hive 连接到 Hive
640 0
|
SQL 存储 分布式计算
大数据技术基础实验九:Hive实验——部署Hive
大数据技术基础实验九,了解有关Hive的知识和学习如何在虚拟机上部署Hive并启动Hive。
679 0
大数据技术基础实验九:Hive实验——部署Hive
|
SQL 分布式计算 关系型数据库