Hue与HDFS、YARN、Hive、MySQL、HBase的集成

简介: 笔记

一、Hue与HDFS的集成

第一步

进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件15.png修改如下:

fs_defaultfs=hdfs://node1:8020
webhdfs_url=http://node1:50070/webhdfs/v1
hadoop_conf_dir=/opt/Hadoop/hadoop/etc/hadoop
hadoop_bin=/opt/Hadoop/hadoop/bin
hadoop_hdfs_home=/opt/Hadoop/hadoop

第二步

通过查看官方文档:

https://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.9.3/manual.html

对hadoop中的core-site.html文件进行修改配置

16.pngimage.png

并且修改完成之后把node1的core-site.html文件分发给node2和node3上

第三步

通过查看Hue的web界面可以看出hue与hdfs的集成成功

18.png

二、Hue与YARN的集成


进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件

image.png

resourcemanager_host=node1
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://node1:8088
proxy_api_url=http://node1:8088
history_server_api_url=http://node1:19888

三、Hue与Hive的集成


进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件

20.png

hive_server_host=node1
hive_server_port=10000
hive_conf_dir=/opt/Hadoop/hive/conf

修改配置完成之后,启动检测

分别启动:

./bin/hiveserver2
./build/env/bin/supervisor

访问web界面可以看到hive的可视化界面

21.png


四、Hue与MySQL的集成


进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件

image.png

访问web界面可以看到mysql的可视化界面

23.png


五、Hue与HBase的集成


进入到/opt/Hadoop/hue/desktop/conf目录下,修改hue.ini文件

24.png

hbase_clusters=(Cluster|node1:9090)
hbase_conf_dir=/opt/Hadoop/hbase/conf

访问web界面可以看到hbase的可视化界面

25.png

相关文章
|
消息中间件 关系型数据库 MySQL
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
1598 0
|
Java 关系型数据库 MySQL
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
3688 45
|
消息中间件 关系型数据库 MySQL
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
本教程展示如何使用Flink CDC YAML快速构建从MySQL到Kafka的流式数据集成作业,涵盖整库同步和表结构变更同步。无需编写Java/Scala代码或安装IDE,所有操作在Flink CDC CLI中完成。首先准备Flink Standalone集群和Docker环境(包括MySQL、Kafka和Zookeeper),然后通过配置YAML文件提交任务,实现数据同步。教程还介绍了路由变更、写入多个分区、输出格式设置及上游表名到下游Topic的映射等功能,并提供详细的命令和示例。最后,包含环境清理步骤以确保资源释放。
1228 2
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
|
关系型数据库 MySQL 数据库
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列(48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
558 4
|
关系型数据库 MySQL OLAP
无缝集成 MySQL,解锁秒级 OLAP 分析性能极限,完成任务可领取三合一数据线!
通过 AnalyticDB MySQL 版、DMS、DTS 和 RDS MySQL 版协同工作,解决大规模业务数据统计难题,参与活动完成任务即可领取三合一数据线(限量200个),还有机会抽取蓝牙音箱大奖!
|
Cloud Native 关系型数据库 MySQL
无缝集成 MySQL,解锁秒级数据分析性能极限
在数据驱动决策的时代,一款性能卓越的数据分析引擎不仅能提供高效的数据支撑,同时也解决了传统 OLTP 在数据分析时面临的查询性能瓶颈、数据不一致等挑战。本文将介绍通过 AnalyticDB MySQL + DTS 来解决 MySQL 的数据分析性能问题。
|
关系型数据库 MySQL PHP
PHP与MySQL的无缝集成:构建动态网站的艺术####
本文将深入探讨PHP与MySQL如何携手合作,为开发者提供一套强大的工具集,以构建高效、动态且用户友好的网站。不同于传统的摘要概述,本文将以一个生动的案例引入,逐步揭示两者结合的魅力所在,最终展示如何通过简单几步实现数据驱动的Web应用开发。 ####
|
XML 存储 分布式计算
【赵渝强老师】史上最详细:Hadoop HDFS的体系架构
HDFS(Hadoop分布式文件系统)由三个核心组件构成:NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求,维护元数据文件fsimage和edits;DataNode存储实际的数据块,默认大小为128MB;SecondaryNameNode定期合并edits日志到fsimage中,但不作为NameNode的热备份。通过这些组件的协同工作,HDFS实现了高效、可靠的大规模数据存储与管理。
1854 70
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
1245 6

推荐镜像

更多