CDH 搭建_Hive_搭建完成|学习笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 快速学习 CDH 搭建_Hive_搭建完成

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段) CDH 搭建_Hive_搭建完成】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/677/detail/11776


CDH 搭建_Hive_搭建完成


一、CDH 搭建_Hive_搭建

之前进行了前两步,第一步安装 hive 软件包,第二步在 mysql 中增加 hive 用户。还有三步要做,配置 hive,初始化 hive 在 mysql 中的表结构,以及启动 hive。这就是大致的步骤,步骤在笔记里面都有详细的解释。

1. 配置 Hive

第一步拷贝配置文

MySQL>exit

Bye

[ root@cdh01 lib]#clear

[ root@cdh01 lib]# vi /etc/hive/conf/hive-site.xml

然后 insert,将刚才拷贝的内容粘贴进来

image.png

jdo .option . ConnectionURL 就是配置的 mysql 的 URL

第二个配置是 driver 的名称,driver 如果要使它连接 mysql,就需要将价包导入进来,但是在阿帕奇的版本里面默认得是有 mysql 的价包,对于 CDH 版本,还需要手动导入一下。使用的 user 名字是 hive,密码也是 hive。使用 autoCreateSchema 就是不让其自动创建 schema。

在启动 Hive 之前,要配置 Hive 一些参数,例如使用 MySQL 作为数据库之类的配置Hive 的配置文件在 /etc/hive/conf/hive-site.xml ,修改它为如下内容<!-- /usr/lib/hive/ conf/hive-site.xml -->Hproperty><namejavax. jdo .option . ConnectionURL</name>

<value>jdbc : mysql: / / cdh01/ metastore

</value></property><property><name>javax.jdo.option.ConnectionDriverName</name>

<value>com. mysql.jdbc.Driver</value></property><property>   <name>javax.jdo.option.ConnectionUserName

</name><value>hive</value> </property><property><name>javax.jdo.optionConnectionPassword</name>

<value>hive</value></property>property> <name>datanucleus.autoCreateSchema</name>

<value>false

</value><name>hive.metastore.uris</name>cvalue>thrift:// cdh01:9083</value></property>

将 metastore 的 uris 设置为9083

</property><property><name>datanucleus.fixedDatastorec/name>

<value>true</value></ property><property> <name>datanucleus .autoStartMechanism</name>

<value>SchemaTable</value>

property<namez-hive.metastore.schema . verification</name>cvalue>true</ value/property>

property<name>-hive.support.concurrency</names<description>Enable Hive's Table Lock Manager Service</description><value>true</value><property>

property<name>-hive.support.concurrency</nameo<value>true</value>

<property><name-hive.zookeeper.quorum</name><value>cdh01</ values

指定 keeper 的位置

2. 初始化 Hive 在 MySQL 中的表结构

虽然现在 hive 能连上 MySQL,但是 MySQL 中没有任何所需要的表,也可以手动执行 hive 语句,但是 hive 已经为我们提供了一个工具。

初始化schematol

[root@cdh01 lib]# vi /etc/hive/conf/hive-site.xml

[root@cdh01 lib]# /usr/lib/hive/bin/schematool -dbType mysql -initSchema-password hive -userName hive -url

usr/lib/hive/bin/schematool就是 hive 原始包里面的 schematool

/usr/lib/hive/bin/schematool 读取 hive 的文件,/usr/lib/hive/bin 就是 hive 源文件的包。

执行命令,等待执行。

image.png

就完成了表的初始化,

查看

image.png

Mysql > show databases

image.png

有数据库metastore,mysql> use metastore;

Reading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changed

mysql> show tables

发现有很多的表,其中有些是权限相关的,有些表是版本。都是源信息的库和表。

image.png

退出 mysql,进行下一步的操作,

3.启动Hive

下一本是启动 hive,启动其中一个重要的服务,hive-metasotore,

[ root@cdh01 lib]# service hive-metastore startStarting Hive Metastore (hive-metastore) :[oK]

再打开一个服务,来接收外部 sql 查询的一个服务,start 之后就有了 gdbc 相关的支持,也可以使用 beeline 来进行一个连接尝试。

[ root@cdhe1 lib]# service hive-server2 startstarted Hive Server2 (hive-server2):[oK][root@cdh01 lib]# beeline

[ root@cdhe1 lib]# beelinewhich:nohbasein(/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_211/bin:/root/binBeeline version 1.1.0-cdh5.16.1 by Apache Hivebeeline>!connect jdbc:hive2://cdh01:10000 username password org.apache.hive.jdbc.HiveDrivef 连接命令不需要记住,可以复制拷贝的,这个时候再进行连接就可以发现已经可以连接到 jdbc 上了,然后 show table 查看表

image.png

Hive 执行速度很慢,执行完成发现只有一个库:default 退出:

0: jdbc :hive2: //cdh01: 10000>[root@cdh01 lib]#clear

链接 hive 没有问题,可以继续安装 kudu。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4月前
|
分布式计算 DataWorks 调度
MaxCompute产品使用合集之如何将数据迁移到CDH Hive
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
SQL JSON 算法
hive学习笔记
hive学习笔记
|
6月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.15 安装HIVE
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
201 1
Hadoop学习笔记(HDP)-Part.15 安装HIVE
|
6月前
|
存储 SQL 分布式计算
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
531 0
|
SQL 运维 大数据
如何获取大数据平台 CDH 中 hive metastore db 的用户名和密码?
如何获取大数据平台 CDH 中 hive metastore db 的用户名和密码?
如何获取大数据平台 CDH 中 hive metastore db 的用户名和密码?
|
SQL 存储 边缘计算
HBase&Hive 2(三)|学习笔记
快速学习 HBase&Hive 2(三)
131 0
HBase&Hive 2(三)|学习笔记
|
SQL 存储 分布式计算
HBase&Hive 2(二)|学习笔记
快速学习 HBase&Hive 2(二)
HBase&Hive 2(二)|学习笔记
|
SQL JSON 数据库
Json 内容转换为 Hive 所支持的文本格式1 | 学习笔记
快速学习 Json 内容转换为 Hive 所支持的文本格式1
219 0
Json 内容转换为 Hive 所支持的文本格式1  |  学习笔记
|
SQL 存储 分布式计算
SparkSQL 读写_Hive_整合 | 学习笔记
快速学习 SparkSQL 读写_Hive_整合
166 0
SparkSQL 读写_Hive_整合 | 学习笔记
|
SQL 缓存 NoSQL
实时同步 Mysql 到 Hive-1 | 学习笔记
快速学习实时同步 Mysql 到 Hive-1
532 0