55.HUE管理工具

简介:

HUE管理工具

HUE是一个开源的Hadoop Ul系统,它基于Python WEB框架实现,通过HUE我们可以在浏览端的WEB控制台上与Hadoop群集进行交互分析处理数据。

部署安装HUE3.11步骤:

安装相关依赖包

# yum -y install python-devel cyrus-sasl-devel sqlite-devel libxml2-devel libxml2-devel libxslt-devel krb5-devel libffi-devel openssl-devel openldap-devel mariadb-server mariadb-devel gmp-devel

开始安装

# tar xzvf hue-3.11.0.tgz

# cd hue-3.11.0

#PREFIX=/usr/local/hue make install

创建运行用户和授权目录

# useradd hue

# chown -R hue.hue /usr/local/hue/

关联Hadoop

#vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml   HDFS站点配置文件

添加内容:

<property>

<name>dfs.webhdfs.enable</name> <!--开启HDFSWEB功能-->

<value>true</value>

</property>

#vim /usr/local/hadoop/etc/hadoop/core-site.xml   hadoop核心配置文件

添加内容:

<property>

<name>hadoop.proxyuser.hue.hosts</name>  <!--允许所有主机使用hue用户管理HDFS-->

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hue.groups</name> <!--允许所有主机使用hue用户组管理HDFS-->

<value>*</value>

</property>

#vim /usr/local/hadoop/etc/hadoop/httpfs-site.xml  HTTPFS服务器配置文件

添加内容:

<property>

<name>httpfs.proxyuser.hue.hosts</name> <!--允许所有主机使用hue用户管理HDFS-->

<value>*</value>

</property>

<property>

<name>httpfs.proxyuser.hue.groups</name> <!--允许所有主机使用hue用户组管理HDFS-->

<value>*</value>

</property>

 

 

 

 

配置HUE

# vim /usr/local/hue/hue/desktop/conf/hue.ini           HUE主配置文件

修改内容:

[desktop]

secret_key= <!--保持会话项,建议指定一个值ABC123-->

## secret_key_script= <!--会话脚本-->

http_host=0.0.0.0 <!--WEB地址-->

http_port=8888 <!--WEB端口号-->

time_zone=America/Los_Angeles <!--设置时区,建议Asia/Shanghai-->

[hadoop]                              配置HDFS

  `hdfs_clusters`

    [`default`]

      fs_defaultfs=hdfs://master:9000 <!--为核心文件中fs.defaults的值-->

      ## logical_name= <!--HDFS的群集名-->

      ## webhdfs_url=http://localhost:14000/webhdfs/v1 <!--HttpFS服务的IP-->

      ## security_enabled=false <!--允许不合法的安全管理开关-->

      ## ssl_cert_ca_verify=True <!--开启SSL认证-->

      ## hadoop_conf_dir=/usr/local/hadoop/conf/hadoop <!--本地hadoop配置文件路径-->

`yarn_clusters`                         配置yarn

    [`default`]

      ## resourcemanager_host=localhost <!--resourcemanager主机地址-->

      ## resourcemanager_port=8032 <!--resourcemanager的端口-->

      ## logical_name= <!--HDFS群集名-->

      ## resourcemanager_api_url=http://localhost:8088 <!--resourcemanager的伪IP-->

[hbase]                                配置Hbase

## hbase_clusters=(Cluster|localhost:9090) <!--Hbase的地址和端口-->

## hbase_conf_dir=/etc/hbase/conf <!--Hbase的配置目录-->

## truncate_limit = 500 <!--截断限制时间-->

## thrift_transport=buffered <!--HUE3.11只支持Hbase Thriftserver的传输端口-->

[beeswax]                              配置HiVE

## hive_server_host=localhost <!--HiVE的主机名-->

## hive_server_port=10000 <!--HiVE的端口-->

## hive_conf_dir=/etc/hive/conf <!--HiVE的配置文件目录-->

## server_conn_timeout=120 <!--连接时间-->

 

开启服务

#su hue

$ /usr/local/hue/hue/build/env/bin/supervisor &

#su root

#netstat -lnupt |grep 8888

通过WEB访问

浏览器输入:httplocalhost8888即可访问

 

故障解析:

地址重复问题:

错误提示:socket.error: [Errno 98] Address already in use

Core-site.xmlhttpfs-site.xml配置问题:

Error日志:

Failed to obtain user group information:

org.apache.hadoop.security.authorize.AuthorizationException

本文转自   触动的风   51CTO博客,原文链接:http://blog.51cto.com/10978134/1945811


相关文章
|
新零售 监控 大数据
电商数据分析基础指标体系
电商数据分析基础指标体系 傅志华 傅志华 信息流、物流和资金流三大平台是电子商务的三个最为重要的平台。而电子商务信息系统最核心的能力是大数据能力,包括大数据处理、数据分析和数据挖掘能力。
3786 0
|
2天前
|
搜索推荐 编译器 Linux
一个可用于企业开发及通用跨平台的Makefile文件
一款适用于企业级开发的通用跨平台Makefile,支持C/C++混合编译、多目标输出(可执行文件、静态/动态库)、Release/Debug版本管理。配置简洁,仅需修改带`MF_CONFIGURE_`前缀的变量,支持脚本化配置与子Makefile管理,具备完善日志、错误提示和跨平台兼容性,附详细文档与示例,便于学习与集成。
262 116
|
17天前
|
域名解析 人工智能
【实操攻略】手把手教学,免费领取.CN域名
即日起至2025年12月31日,购买万小智AI建站或云·企业官网,每单可免费领1个.CN域名首年!跟我了解领取攻略吧~
|
11天前
|
安全 Java Android开发
深度解析 Android 崩溃捕获原理及从崩溃到归因的闭环实践
崩溃堆栈全是 a.b.c?Native 错误查不到行号?本文详解 Android 崩溃采集全链路原理,教你如何把“天书”变“说明书”。RUM SDK 已支持一键接入。
653 223
|
5天前
|
数据采集 人工智能 自然语言处理
Meta SAM3开源:让图像分割,听懂你的话
Meta发布并开源SAM 3,首个支持文本或视觉提示的统一图像视频分割模型,可精准分割“红色条纹伞”等开放词汇概念,覆盖400万独特概念,性能达人类水平75%–80%,推动视觉分割新突破。
315 31
Meta SAM3开源:让图像分割,听懂你的话
|
9天前
|
人工智能 移动开发 自然语言处理
2025最新HTML静态网页制作工具推荐:10款免费在线生成器小白也能5分钟上手
晓猛团队精选2025年10款真正免费、无需编程的在线HTML建站工具,涵盖AI生成、拖拽编辑、设计稿转代码等多种类型,均支持浏览器直接使用、快速出图与文件导出,特别适合零基础用户快速搭建个人网站、落地页或企业官网。
1497 157
|
存储 人工智能 监控
从代码生成到自主决策:打造一个Coding驱动的“自我编程”Agent
本文介绍了一种基于LLM的“自我编程”Agent系统,通过代码驱动实现复杂逻辑。该Agent以Python为执行引擎,结合Py4j实现Java与Python交互,支持多工具调用、记忆分层与上下文工程,具备感知、认知、表达、自我评估等能力模块,目标是打造可进化的“1.5线”智能助手。
888 61