开发者学堂课程【Hue 大数据可视化终端课程:集成 Hadoop 服务—页面操作使用】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/719/detail/12850
集成 Hadoop 服务—页面操作使用
内容介绍:
一、HDFS 整合
二、YARN 集群
一、HDFS 整合
完成 YARN 文件的 scp 拷贝后,重启 YARN 的集群。
当前的环境中 YARN 并没有启动,所以不需要关闭,直接重新启动。输入 Start-yarn.sh 后按回车键。启动后需要输入mr-jobhistory-daemon.sh start history server 单独开启 job history 的服务。开启服务后可以按回车键查看历史的执行信息日志。如果启动出错,可以到对应的日志路径上查看。
那么 YARN 重启后,接下来重启 Hue。按 Ctrl C 中断 hue,会弹出叫做 keyboardInterrupt 的单词,意思为键盘的中断。中断后,再次执行刚才的启动命令输入 build/env/bin/supervisor,按回车键。启动检查,打印日志出现意味着启动服务成功。
回到页面,打开浏览器,重新点击刷新,等待加载。加载完成后弹出的其它软件的整合未完成的报错暂时不用处理,点击 hdfs 的图标打开 Hue 和 HDFS 的浏览窗口。弹出的窗口会显示根目录的文件夹,有文件则会显示文件。
验证显示的文件夹是否正确:打开 node-1的50070进行验证,原生的浏览目录与根目录下属内容一致,说明是正确的。
文件夹并不仅仅有显示的功能。选择一个文件夹之后,右键选择 open in browser,会弹出一个较大的文件浏览器窗口,与原生的最大区别在于它可以进行在线编辑。
如何编辑:在根目录下,点击 new 去创建一个新的文件或文件夹。例如创建文件夹,叫 hue_hdfs,点击 create;创建一个文件,叫 hello. txt,点击 create。左边几个选项按钮代表:下载、浏览文件的路径、刷新、在线编辑。点击Edit file 进行在线编辑,点击 save 进行保存。hue整合后的功能比原生的强大。
如果想修改文件,点击 Actions,它可以重命名、移动、拷贝、下载、改变权限、改变拥有者、压缩,都不需要自己敲命令,包括备份复制及压缩。删除文件点击 delete forever,弹出的窗口点击 yes。完成整合。
二、YARN 集群
YARN 集群是各种 mr 程序执行 job 的浏览。打开原生集群,输入 node-1,端口默认是8088。如果有程序执行,yarn 是 job 的执行情况。
模拟提交程序 example 计算圆周率,输入 hadoop jar Hadoop-mapreduce-examples-2.7.5.jar pi 按回车键,刷新原生页面,在原生页面上刷新后会显示执行的相关情况。
查看 hue 整合后的情况入口:点击 Jobs,进入 job 浏览器当中,浏览器会显示 MR 程序执行的相关情况,包括执行是否成功,历史日志等内容,集中整合后非常方便。
主要内容是两大块,一个是文件存储系统,叫做 HDFS 整合,通过它可以在线地浏览编辑。
另外一个是 YARN,相当于集中浏览执行的 job。