55.HUE管理工具-阿里云开发者社区

开发者社区> 数据库> 正文

55.HUE管理工具

简介:

HUE管理工具

HUE是一个开源的Hadoop Ul系统,它基于Python WEB框架实现,通过HUE我们可以在浏览端的WEB控制台上与Hadoop群集进行交互分析处理数据。

部署安装HUE3.11步骤:

安装相关依赖包

# yum -y install python-devel cyrus-sasl-devel sqlite-devel libxml2-devel libxml2-devel libxslt-devel krb5-devel libffi-devel openssl-devel openldap-devel mariadb-server mariadb-devel gmp-devel

开始安装

# tar xzvf hue-3.11.0.tgz

# cd hue-3.11.0

#PREFIX=/usr/local/hue make install

创建运行用户和授权目录

# useradd hue

# chown -R hue.hue /usr/local/hue/

关联Hadoop

#vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml   HDFS站点配置文件

添加内容:

<property>

<name>dfs.webhdfs.enable</name> <!--开启HDFSWEB功能-->

<value>true</value>

</property>

#vim /usr/local/hadoop/etc/hadoop/core-site.xml   hadoop核心配置文件

添加内容:

<property>

<name>hadoop.proxyuser.hue.hosts</name>  <!--允许所有主机使用hue用户管理HDFS-->

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hue.groups</name> <!--允许所有主机使用hue用户组管理HDFS-->

<value>*</value>

</property>

#vim /usr/local/hadoop/etc/hadoop/httpfs-site.xml  HTTPFS服务器配置文件

添加内容:

<property>

<name>httpfs.proxyuser.hue.hosts</name> <!--允许所有主机使用hue用户管理HDFS-->

<value>*</value>

</property>

<property>

<name>httpfs.proxyuser.hue.groups</name> <!--允许所有主机使用hue用户组管理HDFS-->

<value>*</value>

</property>

 

 

 

 

配置HUE

# vim /usr/local/hue/hue/desktop/conf/hue.ini           HUE主配置文件

修改内容:

[desktop]

secret_key= <!--保持会话项,建议指定一个值ABC123-->

## secret_key_script= <!--会话脚本-->

http_host=0.0.0.0 <!--WEB地址-->

http_port=8888 <!--WEB端口号-->

time_zone=America/Los_Angeles <!--设置时区,建议Asia/Shanghai-->

[hadoop]                              配置HDFS

  `hdfs_clusters`

    [`default`]

      fs_defaultfs=hdfs://master:9000 <!--为核心文件中fs.defaults的值-->

      ## logical_name= <!--HDFS的群集名-->

      ## webhdfs_url=http://localhost:14000/webhdfs/v1 <!--HttpFS服务的IP-->

      ## security_enabled=false <!--允许不合法的安全管理开关-->

      ## ssl_cert_ca_verify=True <!--开启SSL认证-->

      ## hadoop_conf_dir=/usr/local/hadoop/conf/hadoop <!--本地hadoop配置文件路径-->

`yarn_clusters`                         配置yarn

    [`default`]

      ## resourcemanager_host=localhost <!--resourcemanager主机地址-->

      ## resourcemanager_port=8032 <!--resourcemanager的端口-->

      ## logical_name= <!--HDFS群集名-->

      ## resourcemanager_api_url=http://localhost:8088 <!--resourcemanager的伪IP-->

[hbase]                                配置Hbase

## hbase_clusters=(Cluster|localhost:9090) <!--Hbase的地址和端口-->

## hbase_conf_dir=/etc/hbase/conf <!--Hbase的配置目录-->

## truncate_limit = 500 <!--截断限制时间-->

## thrift_transport=buffered <!--HUE3.11只支持Hbase Thriftserver的传输端口-->

[beeswax]                              配置HiVE

## hive_server_host=localhost <!--HiVE的主机名-->

## hive_server_port=10000 <!--HiVE的端口-->

## hive_conf_dir=/etc/hive/conf <!--HiVE的配置文件目录-->

## server_conn_timeout=120 <!--连接时间-->

 

开启服务

#su hue

$ /usr/local/hue/hue/build/env/bin/supervisor &

#su root

#netstat -lnupt |grep 8888

通过WEB访问

浏览器输入:httplocalhost8888即可访问

 

故障解析:

地址重复问题:

错误提示:socket.error: [Errno 98] Address already in use

Core-site.xmlhttpfs-site.xml配置问题:

Error日志:

Failed to obtain user group information:

org.apache.hadoop.security.authorize.AuthorizationException

本文转自   触动的风   51CTO博客,原文链接:http://blog.51cto.com/10978134/1945811


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章