集成 Hadoop 服务—页面操作使用 | 学习笔记

简介: 快速学习 集成 Hadoop 服务—页面操作使用

开发者学堂课程【Hue 大数据可视化终端课程集成 Hadoop 服务—页面操作使用学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12850


集成 Hadoop 服务—页面操作使用


内容介绍:

一、HDFS 整合

二、YARN 集群


一、HDFS 整合

完成 YARN 文件的 scp 拷贝后,重启 YARN 的集群。

当前的环境中 YARN 并没有启动,所以不需要关闭,直接重新启动。输入 Start-yarn.sh 后按回车键。启动后需要输入mr-jobhistory-daemon.sh start history server 单独开启 job history 的服务。开启服务后可以按回车键查看历史的执行信息日志。如果启动出错,可以到对应的日志路径上查看。

那么 YARN 重启后,接下来重启 Hue。按 Ctrl C 中断 hue,会弹出叫做 keyboardInterrupt 的单词,意思为键盘的中断。中断后,再次执行刚才的启动命令输入 build/env/bin/supervisor,按回车键。启动检查,打印日志出现意味着启动服务成功。

回到页面,打开浏览器,重新点击刷新,等待加载。加载完成后弹出的其它软件的整合未完成的报错暂时不用处理,点击 hdfs 的图标打开 Hue 和 HDFS 的浏览窗口。弹出的窗口会显示根目录的文件夹,有文件则会显示文件。

image.png

验证显示的文件夹是否正确:打开 node-150070进行验证,原生的浏览目录与根目录下属内容一致,说明是正确的。

文件夹并不仅仅有显示的功能。选择一个文件夹之后,右键选择 open in browser,会弹出一个较大的文件浏览器窗口,与原生的最大区别在于它可以进行在线编辑。

如何编辑:在根目录下,点击 new 去创建一个新的文件或文件夹。例如创建文件夹,叫 hue_hdfs,点击 create;创建一个文件,叫 hello. txt,点击 create。左边几个选项按钮代表:下载、浏览文件的路径、刷新、在线编辑。点击Edit file 进行在线编辑,点击 save 进行保存。hue整合后的功能比原生的强大。

image.png

如果想修改文件,点击 Actions,它可以重命名、移动、拷贝、下载、改变权限、改变拥有者、压缩,都不需要自己敲命令,包括备份复制及压缩。删除文件点击 delete forever,弹出的窗口点击 yes。完成整合。

image.png


二、YARN 集群

YARN 集群是各种 mr 程序执行 job 的浏览。打开原生集群,输入 node-1,端口默认是8088。如果有程序执行,yarn job 的执行情况。

模拟提交程序 example 计算圆周率,输入 hadoop jar Hadoop-mapreduce­­­-examples-2.7.5.jar pi 按回车键,刷新原生页面,在原生页面上刷新后会显示执行的相关情况。

image.png

查看 hue 整合后的情况入口:点击 Jobs,进入 job 浏览器当中,浏览器会显示 MR 程序执行的相关情况,包括执行是否成功,历史日志等内容,集中整合后非常方便。

image.png

主要内容是两大块,一个是文件存储系统,叫做 HDFS 整合,通过它可以在线地浏览编辑。

另外一个是 YARN,相当于集中浏览执行的 job

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
前端开发 安全 开发工具
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
1052 90
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
|
弹性计算 Serverless 应用服务中间件
Serverless 应用引擎操作报错合集之集成sls时出现报错,是什么导致的
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
285 0
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
325 2
|
jenkins 持续交付
jenkins学习笔记之六:共享库方式集成构建工具
jenkins学习笔记之六:共享库方式集成构建工具
|
Java jenkins Shell
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
|
Serverless 语音技术 开发工具
函数计算操作报错合集之怎么何集成nls tts python sdk
在使用函数计算服务(如阿里云函数计算)时,用户可能会遇到多种错误场景。以下是一些常见的操作报错及其可能的原因和解决方法,包括但不限于:1. 函数部署失败、2. 函数执行超时、3. 资源不足错误、4. 权限与访问错误、5. 依赖问题、6. 网络配置错误、7. 触发器配置错误、8. 日志与监控问题。
325 2
|
分布式计算 资源调度 安全
Hadoop停止所有Hadoop服务
【7月更文挑战第20天】
684 2
|
分布式计算 Hadoop 关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时,无法在所有指定的数据节点上进行复制,该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
分布式计算 Hadoop Java
优化大数据处理:Java与Hadoop生态系统集成
优化大数据处理:Java与Hadoop生态系统集成
|
jenkins 持续交付
jenkins学习笔记之九:jenkins认证集成github
jenkins学习笔记之九:jenkins认证集成github