集成 Hadoop 服务—页面操作使用 | 学习笔记

简介: 快速学习 集成 Hadoop 服务—页面操作使用

开发者学堂课程【Hue 大数据可视化终端课程集成 Hadoop 服务—页面操作使用学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12850


集成 Hadoop 服务—页面操作使用


内容介绍:

一、HDFS 整合

二、YARN 集群


一、HDFS 整合

完成 YARN 文件的 scp 拷贝后,重启 YARN 的集群。

当前的环境中 YARN 并没有启动,所以不需要关闭,直接重新启动。输入 Start-yarn.sh 后按回车键。启动后需要输入mr-jobhistory-daemon.sh start history server 单独开启 job history 的服务。开启服务后可以按回车键查看历史的执行信息日志。如果启动出错,可以到对应的日志路径上查看。

那么 YARN 重启后,接下来重启 Hue。按 Ctrl C 中断 hue,会弹出叫做 keyboardInterrupt 的单词,意思为键盘的中断。中断后,再次执行刚才的启动命令输入 build/env/bin/supervisor,按回车键。启动检查,打印日志出现意味着启动服务成功。

回到页面,打开浏览器,重新点击刷新,等待加载。加载完成后弹出的其它软件的整合未完成的报错暂时不用处理,点击 hdfs 的图标打开 Hue 和 HDFS 的浏览窗口。弹出的窗口会显示根目录的文件夹,有文件则会显示文件。

image.png

验证显示的文件夹是否正确:打开 node-150070进行验证,原生的浏览目录与根目录下属内容一致,说明是正确的。

文件夹并不仅仅有显示的功能。选择一个文件夹之后,右键选择 open in browser,会弹出一个较大的文件浏览器窗口,与原生的最大区别在于它可以进行在线编辑。

如何编辑:在根目录下,点击 new 去创建一个新的文件或文件夹。例如创建文件夹,叫 hue_hdfs,点击 create;创建一个文件,叫 hello. txt,点击 create。左边几个选项按钮代表:下载、浏览文件的路径、刷新、在线编辑。点击Edit file 进行在线编辑,点击 save 进行保存。hue整合后的功能比原生的强大。

image.png

如果想修改文件,点击 Actions,它可以重命名、移动、拷贝、下载、改变权限、改变拥有者、压缩,都不需要自己敲命令,包括备份复制及压缩。删除文件点击 delete forever,弹出的窗口点击 yes。完成整合。

image.png


二、YARN 集群

YARN 集群是各种 mr 程序执行 job 的浏览。打开原生集群,输入 node-1,端口默认是8088。如果有程序执行,yarn job 的执行情况。

模拟提交程序 example 计算圆周率,输入 hadoop jar Hadoop-mapreduce­­­-examples-2.7.5.jar pi 按回车键,刷新原生页面,在原生页面上刷新后会显示执行的相关情况。

image.png

查看 hue 整合后的情况入口:点击 Jobs,进入 job 浏览器当中,浏览器会显示 MR 程序执行的相关情况,包括执行是否成功,历史日志等内容,集中整合后非常方便。

image.png

主要内容是两大块,一个是文件存储系统,叫做 HDFS 整合,通过它可以在线地浏览编辑。

另外一个是 YARN,相当于集中浏览执行的 job

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
前端开发 关系型数据库 MySQL
IDEA集成Docker插件打包服务镜像与运行【附Docker命令汇总】
IDEA集成Docker插件打包服务镜像与运行【附Docker命令汇总】
|
2月前
|
NoSQL Java Redis
小白版的springboot中集成mqtt服务(超级无敌详细),实现不了掐我头!!!
小白版的springboot中集成mqtt服务(超级无敌详细),实现不了掐我头!!!
355 1
|
2月前
|
SpringCloudAlibaba Dubbo Java
SpringCloud Alibaba集成Dubbo实现远程服务间调用
SpringCloud Alibaba集成Dubbo实现远程服务间调用
|
1天前
|
存储 分布式计算 Hadoop
Hadoop数据集成
【5月更文挑战第7天】
5 1
|
3天前
|
存储 分布式计算 资源调度
Hadoop生态系统集成问题
【5月更文挑战第6天】
8 1
|
4天前
|
分布式计算 资源调度 Hadoop
安装hadoop学习笔记
安装hadoop学习笔记
15 0
安装hadoop学习笔记
|
5天前
|
存储 安全 开发者
【Docker 专栏】Docker 与云存储服务的集成
【5月更文挑战第9天】在数字化时代,Docker和云存储服务的结合为企业和开发者提供了强大工具。Docker的高效性、可移植性和隔离性,加上云存储的扩展性、高可靠性和高可用性,通过集成可以实现数据持久化、便捷部署和资源优化。常见的集成包括AWS S3、Azure Blob Storage和Google Cloud Storage。集成时需注意安全、性能和兼容性问题,未来集成将更加紧密和智能化,助力企业创造更大价值。
【Docker 专栏】Docker 与云存储服务的集成
|
20天前
|
分布式计算 资源调度 Hadoop
重启Hadoop服务
【4月更文挑战第18天】重启Hadoop服务涉及五个步骤:1) 停止所有服务,如使用`stop-all.sh`;2) 检查服务是否停止,通过jps命令;3) 清理临时数据和日志;4) 使用`start-all.sh`重启服务;5) 再次用jps确认服务启动。注意,步骤依Hadoop版本和配置而异,操作前需谨慎并参考官方文档,以防影响运行中的应用程序。
18 2
|
22天前
|
存储 JSON 前端开发
Javaweb之SpringBootWeb案例之阿里云OSS服务集成的详细解析
Javaweb之SpringBootWeb案例之阿里云OSS服务集成的详细解析
19 0
|
1月前
|
分布式计算 Hadoop 测试技术
Hadoop【基础知识 05】【HDFS的JavaAPI】(集成及测试)
【4月更文挑战第5天】Hadoop【基础知识 05】【HDFS的JavaAPI】(集成及测试)
47 8