CDH 搭建_Hue|学习笔记

简介: 快速学习 CDH 搭建_Hue

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段) CDH 搭建_Hue】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/677/detail/11778


CDH 搭建_Hue


内容介绍

一、介绍

二、配置 hue

 

进入最后一个工具安装 hue,并且这个工具面试经常会问到,本节课简单讲解 hue 的作用以及如何安装。首先进入讲义,查看 hue 的安装步骤。

 

一、介绍

首先 Hue 的安装步骤主要分为三步,跟之前的工具比较类似,第一步进行 Hue 组件的安装,第二步是配置 hue,就是对 hue 进行一些配置,第三步是启动 hue.

Hue 其实就是一个可视化平台,意思就是 hue 提供一个界面,然后可以操作背后的东西。主要用于浏览 HDFS 的文件,编写和执行 Hive 的 SQL ,以及 Impala 的 SQL ,查看数据库中数据等,支持各种数据库的查询。而且Hue 一般就作为 CDH 数据平台的入口 CDH 的作用

1. CDH 针对常见的大数据组件做了更深层的些定制和封装,封装体现在哪呢,CDH 提供了一个集群化的安装工具,在这里不进行讲解,因为可能涉及到版权的一些问题。安装比较简单,根据步骤安装就可以了,同时也提供了亚仓库的安装能力。正常情况使用 hive 启动 metastore,现在只需要 *service hive metastore 启动就可以。所以是进行了一些封装来更好用的。

2. 2、CDH 是一个大数据的解决方案,定制了一些版,使得工具之间的配合会更好一些,进行了大量的调试。*因为 CbH 做了大量兼容性的工作,所以 CDH 的一些Hadoop版本比较低,因为它是稳定在一个比较稳定的版本。

3、既然说是整个大数据的解决方案,如果连外部界面都没有就会显得 low,CDH 提供了一个 Wed 界面以便于查询和展示,这个界面就叫做Hue。所以装了 CDH 而不装 Hue 会觉得少了点什么.

hue 只是一个外部界面,能够访问 hdfs,访问 smrk,访问mr,,hif,impala。hue是用来跟后面这些工具进行配合整合的。Hue 要去 fangwenhdfs,那么就要去告诉如何访问 hdfs,这些参数就用来解决这些问题,面试的时候偶尔也会问 Hue 的使用,所以简单安装,简单使用 Hue 让大家了解以下这个可视化工具 


二、配置 Hue

Hue 是跟后面工具整合进行访问的,如果 Hue 打算访问 HDFS,就需要告知 Hue 如何访问 HDFS。这些参数就是配置这些小节的作用。配置是按照和不同组件进行整合所进行的配置。

Hue 的配置就会稍微优点复杂,因为 Hue 要整合其它的一些工具,例如访问 HDFs ,所以配置要从两方面说,一是  HDFS 要允许 Hue 访间,二是配置给 Hue 如何访问 HDFS (以及如何访问其它程序)

Hue 和 HDFS 的整合

1.修改 hdfs-site.xml 增加如下内容,以便让 Hue 用户可以访间 HDFS 中的文件

<property>

ename>hadoop.proxyuser.hue.hosts</name>evalue>*</ value>

</property>

<property>

ename>hadoop .proxyuser.hue.groups</name>cvalue>*</value>

</property>

<property>

<name>hadoop .proxyuser.httpfs.hosts</ name>cvalue>*</ value>

</property>

<property>

ename>hadoop .proxyuser.httpfs.groups</name>cvalue>*</ value>

ename>hadoop.proxyuser.hue.groups</name>evalue>*</ value></ property>property>ename>hadoop.proxyuser.httpfs.hosts</ name>evalue>*</ value></property>property>ename>hadoop .proxyuser.httpfs.groups</name><value*</value></property>

2.修改/etc/hue/conf/hue.ini 访问 HDFS

fs_defaultfs=hdfs : / / cdh01:8020webhdfs_url=http:/lcdh01 : 50070/webhdfs /v1 Hue 和 Impala 的整合修改文件 /etc/hue/conf/hue.in 公[ Impala]server_host=cdh01Hue 和 Hive 的整合修改文件 /etc/hue/conf/hue.ini

[Hive]

Hive-server-host=cdh01

配置:

进入 cdh01,因为hue只是一个外部界面,所以只在 cdh01上进行配置。

image.png

a ms-ommtytele.-...

因为已经提前安装过了,所以会提示 nothing to do。正常情况下需要等到五到十分钟

配置hue ,即和其他不同组件整合的配置过程

[ root@cdh01 ~]# vi /etc/hue/conf/hue .ini

image.png

Desktop:hue 的一部分配置LDAP,验证的一些配置users 的一些配置hue 中的配置文件是分块的,每一块都有不同的配置,desktop 就是配置的一个整个的一个行为,需要修改的地方可能有

http host=0.0.0.0 1 有可能要修改成本机的地址

http_ port=8888 是端口,默认的端口号。可以直接搜索HDFS进行整合,就进入 hadoop,

image.png

fs_ defaultfs=hdfs://localhost : 8020是默认的访问的 hdfs 的路径,将 localhost 修改为 cdh01,## webhdfs url=http: L Loc alhost : 50070/webhdfs/v1也要修改是因为 hue 要访问 hdfs 所使用的 us 的接口,删除##,将 localhost 修改为 cdh01

Hue 和 HDFS 的整合

image.png 

Hue 配置有权限访问 hdfs,复制。

[ root@cdh01 ~]# vi /etc /hadoop/conf/hdfs.-site.hml,在末尾拷贝内容。

image.png

Hue和Impala 的整合 [ root@cdh01 ~]# vi /etc /hue/conf/hue.ini

/搜索 impala

[ root@cdh01 ~]# vi /etc /hue/conf/hdfs-site.hml

找到 impala 所对应的内容

image.png

整合过程将 server_ host=c dh0l 修改为 cdh01,进行完这一步和 impala 的整合就完成了。因为 hue 是 cdh 的产品,impala 也是 cdh 的产品,搜索 hive。

修改 hive,进行搜索

/hive

image.png

Beeswax 阶段中有 hive_sever_host,后面改为 cdh01

操作之后,和 hive 整合结束。

整合完成,开始启动:

[ root@cdh01 ~]#service hue start

Starting hue: already running

[ root@cdh01 ~]#service hue restart

[ root@cdh01 ~]#    [ok]

Hue启动成功,打开浏览器,输入192.168.169.101:8888

image.png

第一次会看到要登录的界面,登录的账号密码默认都是 admin,点击 sign in 。第一次进入可能会报很多错,一个一个解决就可以了,

image.png

左边的竖框包括表的浏览器,文件的浏览器,还包括查询等的一些功能。Query 表示新建一个查询,侧边栏表示其他的一些功能,中间的部分就是假如具体要查询某个东西,中间就是查询框,要写一些具体的程序,中间就是程序框。如果要提交一个 jar 包去运行,这就是一个提交框,jobs 可以看到当前正在执行的 job。Admin 就是当前执行的用户。点击 hive 下就会有 default 的一个库,点击 impala 也会加载相应的库。

image.png

点击 query 就会有相应的一些库,也可以编写许多代码,包括 Spark Submit Jar ,还可以写一些 Markdown,但是意义不是很大。还可以写 mysql 的一些 sq l 以及跟oracle 进行交互。以及运行 Java 代码,作为集群工具使用。在 scheduler 的部分可以编写 workflow,编写 schedule和bundle.

进入 hive,在代码框中输入 select,发现可以自动补全,按 crtl 加回车来执行语句。取消 select,输入 show databes。然后点击三角形或者 crtl 加回车就可以运行。查询成功就会显示 results

Show databases,按三角形或ctrl+回车执行指令。完整查询并且获取结果。

image.png

Hue 是普通的工具,和所需内容进行整合,操作方便。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
分布式计算 数据可视化 大数据
Hue--介绍、功能、架构 | 学习笔记
快速学习 Hue--介绍、功能、架构
1895 0
Hue--介绍、功能、架构 | 学习笔记
|
7月前
|
SQL 分布式计算 分布式数据库
Hive集成Hue安装部署
Hive集成Hue安装部署
98 0
|
SQL 分布式计算 Oracle
CDH 搭建_Hive_安装和创建用户|学习笔记
快速学习 CDH 搭建_Hive_安装和创建用户
761 0
|
9月前
|
监控 大数据 物联网
在CDH7.1.1中安装NiFi
在CDH7.1.1中安装NiFi
|
SQL 关系型数据库 MySQL
CDH 搭建_Hive_搭建完成|学习笔记
快速学习 CDH 搭建_Hive_搭建完成
183 0
CDH 搭建_Hive_搭建完成|学习笔记
|
SQL 关系型数据库 MySQL
CDH 搭建_kudu|学习笔记
快速学习 CDH 搭建_kudu
273 0
CDH 搭建_kudu|学习笔记
|
分布式计算 资源调度 Hadoop
CDH 搭建_ Hadoop _安装包|学习笔记
快速学习 CDH 搭建_ Hadoop _安装包
198 0
CDH 搭建_ Hadoop _安装包|学习笔记
|
资源调度 分布式计算 Hadoop
CDH 搭建_ Hadoop _ Yarn 搭建|学习笔记
快速学习 CDH 搭建_ Hadoop _ Yarn 搭建
163 0
CDH 搭建_ Hadoop _ Yarn 搭建|学习笔记
|
存储 分布式计算 关系型数据库
Hue-- 编译、安装部署 | 学习笔记
快速学习 Hue-- 编译、安装部署
887 0
Hue-- 编译、安装部署 | 学习笔记
|
Kubernetes JavaScript 关系型数据库
HUE部署
HUE部署
198 0

相关课程

更多

相关实验场景

更多