开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段): CDH 搭建_Hue】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/677/detail/11778
CDH 搭建_Hue
内容介绍
一、介绍
二、配置 hue
进入最后一个工具安装 hue,并且这个工具面试经常会问到,本节课简单讲解 hue 的作用以及如何安装。首先进入讲义,查看 hue 的安装步骤。
一、介绍
首先 Hue 的安装步骤主要分为三步,跟之前的工具比较类似,第一步进行 Hue 组件的安装,第二步是配置 hue,就是对 hue 进行一些配置,第三步是启动 hue.
Hue 其实就是一个可视化平台,意思就是 hue 提供一个界面,然后可以操作背后的东西。主要用于浏览 HDFS 的文件,编写和执行 Hive 的 SQL ,以及 Impala 的 SQL ,查看数据库中数据等,支持各种数据库的查询。而且Hue 一般就作为 CDH 数据平台的入口 CDH 的作用
1. CDH 针对常见的大数据组件做了更深层的些定制和封装,封装体现在哪呢,CDH 提供了一个集群化的安装工具,在这里不进行讲解,因为可能涉及到版权的一些问题。安装比较简单,根据步骤安装就可以了,同时也提供了亚仓库的安装能力。正常情况使用 hive 启动 metastore,现在只需要 *service hive metastore 启动就可以。所以是进行了一些封装来更好用的。
2. 2、CDH 是一个大数据的解决方案,定制了一些版,使得工具之间的配合会更好一些,进行了大量的调试。*因为 CbH 做了大量兼容性的工作,所以 CDH 的一些Hadoop版本比较低,因为它是稳定在一个比较稳定的版本。
3、既然说是整个大数据的解决方案,如果连外部界面都没有就会显得 low,CDH 提供了一个 Wed 界面以便于查询和展示,这个界面就叫做Hue。所以装了 CDH 而不装 Hue 会觉得少了点什么.
hue 只是一个外部界面,能够访问 hdfs,访问 smrk,访问mr,,hif,impala。hue是用来跟后面这些工具进行配合整合的。Hue 要去 fangwenhdfs,那么就要去告诉如何访问 hdfs,这些参数就用来解决这些问题,面试的时候偶尔也会问 Hue 的使用,所以简单安装,简单使用 Hue 让大家了解以下这个可视化工具
二、配置 Hue
Hue 是跟后面工具整合进行访问的,如果 Hue 打算访问 HDFS,就需要告知 Hue 如何访问 HDFS。这些参数就是配置这些小节的作用。配置是按照和不同组件进行整合所进行的配置。
Hue 的配置就会稍微优点复杂,因为 Hue 要整合其它的一些工具,例如访问 HDFs ,所以配置要从两方面说,一是 HDFS 要允许 Hue 访间,二是配置给 Hue 如何访问 HDFS (以及如何访问其它程序)
Hue 和 HDFS 的整合
1.修改 hdfs-site.xml 增加如下内容,以便让 Hue 用户可以访间 HDFS 中的文件
<property>
ename>hadoop.proxyuser.hue.hosts</name>evalue>*</ value>
</property>
<property>
ename>hadoop .proxyuser.hue.groups</name>cvalue>*</value>
</property>
<property>
<name>hadoop .proxyuser.httpfs.hosts</ name>cvalue>*</ value>
</property>
<property>
ename>hadoop .proxyuser.httpfs.groups</name>cvalue>*</ value>
ename>hadoop.proxyuser.hue.groups</name>
evalue>*</ value>
</ property>
property>
ename>hadoop.proxyuser.httpfs.hosts</ name>
evalue>*</ value>
</property>
property>
ename>hadoop .proxyuser.httpfs.groups</name><value*</value>
</property>
2.修改/etc/hue/conf/hue.ini 访问 HDFS
fs_defaultfs=hdfs : / / cdh01:8020
webhdfs_url=http:/lcdh01 : 50070/webhdfs
/v1 Hue 和 Impala 的整合修改文件 /etc/hue/conf/hue.in 公
[ Impala]
server_host=cdh01
Hue
和 Hive 的整合修改文件 /etc/hue/conf/hue.ini
[Hive]
Hive-server-host=cdh01
配置:
进入 cdh01,因为hue只是一个外部界面,所以只在 cdh01上进行配置。
a ms-ommtytele.-...
因为已经提前安装过了,所以会提示 nothing to do。正常情况下需要等到五到十分钟。
配置hue ,即和其他不同组件整合的配置过程。
[ root@cdh01 ~]# vi /etc/hue/conf/hue .ini
Desktop:hue 的一部分配置;LDAP,验证的一些配置;users 的一些配置。hue 中的配置文件是分块的,每一块都有不同的配置,desktop 就是配置的一个整个的一个行为,需要修改的地方可能有
http host=0.0.0.0 1 有可能要修改成本机的地址。
http_ port=8888 是端口,默认的端口号。可以直接搜索HDFS进行整合,就进入 hadoop,
fs_ defaultfs=hdfs://localhost : 8020
是默认的访问的 hdfs 的路径,将 localhost 修改为 cdh01,## webhdfs url=http: L Loc alhost : 50070/webhdfs/v1
也要修改是因为 hue 要访问 hdfs 所使用的 us 的接口,删除##,将 localhost 修改为 cdh01
Hue 和 HDFS 的整合
Hue 配置有权限访问 hdfs,复制。
[ root@cdh01 ~]# vi /etc /hadoop/conf/hdfs.-site.hml
,在末尾拷贝内容。
Hue和Impala 的整合 [ root@cdh01 ~]# vi /etc /hue/conf/hue.ini
/搜索 impala
[ root@cdh01 ~]# vi /etc /hue/conf/hdfs-site.hml
找到 impala 所对应的内容
整合过程将 server_ host=c dh0l 修改为 cdh01,进行完这一步和 impala 的整合就完成了。因为 hue 是 cdh 的产品,impala 也是 cdh 的产品,搜索 hive。
修改 hive,进行搜索
/hive
Beeswax 阶段中有 hive_sever_host,后面改为 cdh01
操作之后,和 hive 整合结束。
整合完成,开始启动:
[ root@cdh01 ~]#service hue start
Starting hue: already running
[ root@cdh01 ~]#service hue restart
[ root@cdh01 ~]# [ok]
Hue启动成功,打开浏览器,输入192.168.169.101:8888
第一次会看到要登录的界面,登录的账号密码默认都是 admin,点击 sign in 。第一次进入可能会报很多错,一个一个解决就可以了,
左边的竖框包括表的浏览器,文件的浏览器,还包括查询等的一些功能。Query 表示新建一个查询,侧边栏表示其他的一些功能,中间的部分就是假如具体要查询某个东西,中间就是查询框,要写一些具体的程序,中间就是程序框。如果要提交一个 jar 包去运行,这就是一个提交框,jobs 可以看到当前正在执行的 job。Admin 就是当前执行的用户。点击 hive 下就会有 default 的一个库,点击 impala 也会加载相应的库。
点击 query 就会有相应的一些库,也可以编写许多代码,包括 Spark Submit Jar ,还可以写一些 Markdown,但是意义不是很大。还可以写 mysql 的一些 sq l 以及跟oracle 进行交互。以及运行 Java 代码,作为集群工具使用。在 scheduler 的部分可以编写 workflow,编写 schedule和bundle.
进入 hive,在代码框中输入 select,发现可以自动补全,按 crtl 加回车来执行语句。取消 select,输入 show databes。然后点击三角形或者 crtl 加回车就可以运行。查询成功就会显示 results。
Show databases,按三角形或ctrl+回车执行指令。完整查询并且获取结果。
Hue 是普通的工具,和所需内容进行整合,操作方便。