Hue与HDFS、YARN、Hive、MySQL、HBase的集成

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介: 笔记

一、Hue与HDFS的集成

第一步

进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件15.png修改如下:

fs_defaultfs=hdfs://node1:8020
webhdfs_url=http://node1:50070/webhdfs/v1
hadoop_conf_dir=/opt/Hadoop/hadoop/etc/hadoop
hadoop_bin=/opt/Hadoop/hadoop/bin
hadoop_hdfs_home=/opt/Hadoop/hadoop

第二步

通过查看官方文档:

https://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.9.3/manual.html

对hadoop中的core-site.html文件进行修改配置

16.pngimage.png

并且修改完成之后把node1的core-site.html文件分发给node2和node3上

第三步

通过查看Hue的web界面可以看出hue与hdfs的集成成功

18.png

二、Hue与YARN的集成


进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件

image.png

resourcemanager_host=node1
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://node1:8088
proxy_api_url=http://node1:8088
history_server_api_url=http://node1:19888

三、Hue与Hive的集成


进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件

20.png

hive_server_host=node1
hive_server_port=10000
hive_conf_dir=/opt/Hadoop/hive/conf

修改配置完成之后,启动检测

分别启动:

./bin/hiveserver2
./build/env/bin/supervisor

访问web界面可以看到hive的可视化界面

21.png


四、Hue与MySQL的集成


进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件

image.png

访问web界面可以看到mysql的可视化界面

23.png


五、Hue与HBase的集成


进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件

24.png

hbase_clusters=(Cluster|node1:9090)
hbase_conf_dir=/opt/Hadoop/hbase/conf

访问web界面可以看到hbase的可视化界面

25.png

相关文章
|
消息中间件 分布式计算 关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
312 0
|
消息中间件 关系型数据库 MySQL
ClickHouse如何整合数据源:MySQL、HDFS...
ClickHouse 是一个强大的列式数据库管理系统,支持多种数据源。常见的数据源包括外部数据源(如 HDFS、File、URL、Kafka 和 RabbitMQ)、数据库(如 MySQL 和 PostgreSQL)和流式数据(如 Stream 和 Materialized Views)。本文介绍了如何从 MySQL 和 HDFS 读取数据到 ClickHouse 中,包括创建数据库、映射表和查询数据的具体步骤。通过这些方法,用户可以方便地将不同来源的数据导入 ClickHouse 进行高效存储和分析。
932 3
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
298 5
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
285 4
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
300 2
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
248 2
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
367 0
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
228 0
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
274 0
|
5月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
430 158

推荐镜像

更多