Hive部署

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: Hive部署

Hive是单机工具,只需要部署在一台服务器即可

hive虽然是单机的,但是它可以提交分布式运行的MapReduce程序运行

 

所以就只需要准备一台服务器提供Hive使用就好了

同时Hive需要使用元数据服务,即需要提供一个关系型数据库,也选择一台服务器安装关系型数据库即可

 

所以

image.png

 

image.png

 

配置Hadoop

Hive的运行依赖于HadoopHDFSMapReduceYARN都依赖)

同时涉及到HDFS文件系统的访问,所以需要配置Hadoop的代理用户

即设置hadoop用户允许代理(模拟)其他用户

 

配置如下内容在Hadoopcore-site.xml中,并分发到其他节点,且重启HDFS集群

image.png

 

下载解压hive

hive解压到服务器的/export/server

image.png

设置软连接image.png

提供mysql driver

将下载好的jar包,放入到Hive安装文件夹的lib目录内

image.png

 

不需要新建,直接使用mv将改名

image.png

给该文件添加配置文件

image.png

 

 

配置Hive

Hiveconf目录内,新建一个hive-site.xml文件,填入配置文件

image.png

 

初始化元数据

hive在启动之前需要先初始化hive所需的元数据库

mysql新建一个数据库:hive

creste database hive charset utf8;

 

执行元数据库初始化命令

之前都是使用root用户去执行的,现在需要使用chown -R hadoop:hadoop 文件名

来把root权限改为hadoop

 

cd /export/server/hive

bin/schematool -initSchema -dbType mysql -verbos

初始化成功后,会在mysql中的hive数据库中新建74张元数据管理的表

 

 

 

启动hive(使用Hadoop用户)

创建一个hive的日志文件夹

mkdir /export/server/hive/logs

 

启动元数据管理服务(必须启动,否则无法工作)

前台启动:bin/hive --service metastore

后台启动:nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

 

启动客户端,二选一

Hive Shell方式(可以直接写sql):bin/hive

Hive ThrftServer方式(不可以直接写sql,需要外部客户端链接使用):bin/hive --Service hiveserver2

 

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
7月前
|
SQL 分布式计算 Java
bigdata-17-Hive部署与Hive基础
bigdata-17-Hive部署与Hive基础
137 0
|
7月前
|
SQL 存储 分布式计算
基于Hadoop数据仓库Hive1.2部署及使用
基于Hadoop数据仓库Hive1.2部署及使用
|
7月前
|
SQL 消息中间件 Kafka
Flink部署问题之hive表没有数据如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
SQL 分布式计算 关系型数据库
hadoop搭建、mysql、hive部署(三)
hadoop搭建、mysql、hive部署
209 0
hadoop搭建、mysql、hive部署(三)
|
SQL 分布式计算 关系型数据库
hadoop搭建、mysql、hive部署(二)
hadoop搭建、mysql、hive部署
94 0
|
SQL 分布式计算 Hadoop
hadoop搭建、mysql、hive部署(一)
hadoop搭建、mysql、hive部署
165 0
|
SQL 存储 分布式计算
工良出品:包教会,Hadoop、Hive 搭建部署简易教程
导读 Hadoop、Hive 是什么 运行环境 Java 环境 Mysql 下载 Hadoop、Hive 和 驱动 安装 Hadoop core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.cmd 启动 Hadoop 安装 Hive 配置 Hive hive-env.sh hive-site.xml 运行 Hive 连接到 Hive
392 0
|
SQL 存储 分布式计算
Hive详解以及CentOS下部署Hive和Mysql
Hive详解以及CentOS下部署Hive和Mysql
466 0
Hive详解以及CentOS下部署Hive和Mysql
|
SQL 存储 分布式计算
大数据技术基础实验九:Hive实验——部署Hive
大数据技术基础实验九,了解有关Hive的知识和学习如何在虚拟机上部署Hive并启动Hive。
512 0
大数据技术基础实验九:Hive实验——部署Hive
|
SQL 分布式计算 关系型数据库