hadoop集群hive 的安装

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: hadoop集群hive 的安装

1.MySQL的安装

node2:

yum -y install epel-release
yum install -y wget
wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
rpm -ivh mysql57-community-release-el7-8.noarch.rpm
ls /etc/yum.repos.d/
yum install -y mysql-community-server

安装失败,需要公钥则输入下面命令用mardb进行替代

rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
yum -y install mysql-community-server

重载配置文件

systemctl daemon-reload

启动mysql服务

systemctl start mysqld

设置开机自启

systemctl enable mysqld

获取初始密码

grep password /var/log/mysqld.log

登陆MySQL

mysql -uroot -p

更改数据库安全策略

密码强度设置为低级

set global validate_password_policy=0;

设置密码长度(最低)

set global validate_password_length=4;

修改本地密码

set password=password('123456');

退出

exit

利用修改的密码,登陆数据库

mysql -uroot -p123456

创建用户

create user 'root'@'%' identified by '123456';

允许远程登陆

grant all privileges on *.* to 'root'@'%' with grant option;

刷新权限

flush privileges;

退出

\q

2.HIVE的安装

node1

在master节点创建hive的安装目录

mkdir -p /usr/hive

解压hive

tar -zxvf /opt/bigbata/apache-hive-2.3.9-bin.tar.gz -C /usr/hive/

给node1节点创建hive文件夹

scp -r /usr/hive/apache-hive-2.3.9-bin root@node1:/usr/hive/

修改环境变量

vi /etc/profile

在文件最后添加

export HIVE_HOME=/usr/hive/apache-hive-2.3.9-bin
export PATH=$PATH:$HIVE_HOME/bin

重载环境变量

source /etc/profile

将上传到master节点的mysql的jar包传送到node1中

scp /opt/bigbata/mysql-connector-java-5.1.20-bin.jar root@node1:/usr/hive/lib

在node1上配置环境变量

vi /etc/profile

在文件最后添加

export HIVE_HOME=/usr/hive
export PATH=$PATH:$HIVE_HOME/bi

重载环境变量

source /etc/profile

修改配置文件

进入到hive的配置目录中

cd /usr/hive/conf

修改配置文件env.sh

cp hive-env.sh.template hive-env.sh
vi hive-env.sh

添加

HADOOP_HOME=/usr/local/hadoop

修改配置文件hive-site.xml

cp hive-default.xml.template hive-site.xml
vi hive-site.xml 

添加在字段<configuration>的首行中

<configuration>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive_remote/warehouse</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node2:3306/hive?createDatabaseIfNotExist=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
  <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
  </property>
</configuration>

保存,退出

master节点操作

将hive的客户端的jar包复制到hadoop中

cp /usr/hive/apache-hive-2.3.9-bin/lib/jline-2.12.jar /usr/local/hadoop/share/hadoop/yarn/lib

修改master的hive-site.xml文件

cd /usr/hive/apache-hive-2.3.9-bin/conf/
cp hive-default.xml.template hive-site.xml
vi hive-site.xml 

添加在字段<configuration>的首行中

<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
<property>  
  <name>hive.metastore.local</name>  
  <value>false</value>  
</property>  
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://node1:9083</value>  
</property>  
</configuration>  

保存,退出

启动hive

node1:

启动hive服务端程序(任何地方都行,配置过环境变量;简易在此目录/usr/hive下)

hive --service metastore    
nohup hive --service metastore &  (挂载到后台)

master:

启动客户端(任何地方都行,配置过环境变量)

hive
nohup hive &  (挂载到后台)

验证hive

输入hive shell 进入hive

在hive内输入show databases;

在mysql中查看数据库列表,就会发现出现了hive数据库

输入jps查看进程,就会看到有"RunJar"

感谢大家的支持,关注,评论,点赞!

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
29天前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
126 6
|
25天前
|
SQL 分布式计算 Hadoop
手把手的教你搭建hadoop、hive
手把手的教你搭建hadoop、hive
61 1
|
30天前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
65 4
|
30天前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
31 3
|
30天前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
55 3
|
30天前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
61 1
|
29天前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
30 0
|
6月前
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
185 1
|
6月前
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
235 0
|
4月前
|
SQL 分布式计算 大数据
大数据处理平台Hive详解
【7月更文挑战第15天】Hive作为基于Hadoop的数据仓库工具,在大数据处理和分析领域发挥着重要作用。通过提供类SQL的查询语言,Hive降低了数据处理的门槛,使得具有SQL背景的开发者可以轻松地处理大规模数据。然而,Hive也存在查询延迟高、表达能力有限等缺点,需要在实际应用中根据具体场景和需求进行选择和优化。