集成 Hadoop 服务—页面操作使用 | 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 集成 Hadoop 服务—页面操作使用

开发者学堂课程【Hue 大数据可视化终端课程集成 Hadoop 服务—页面操作使用学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12850


集成 Hadoop 服务—页面操作使用


内容介绍:

一、HDFS 整合

二、YARN 集群


一、HDFS 整合

完成 YARN 文件的 scp 拷贝后,重启 YARN 的集群。

当前的环境中 YARN 并没有启动,所以不需要关闭,直接重新启动。输入 Start-yarn.sh 后按回车键。启动后需要输入mr-jobhistory-daemon.sh start history server 单独开启 job history 的服务。开启服务后可以按回车键查看历史的执行信息日志。如果启动出错,可以到对应的日志路径上查看。

那么 YARN 重启后,接下来重启 Hue。按 Ctrl C 中断 hue,会弹出叫做 keyboardInterrupt 的单词,意思为键盘的中断。中断后,再次执行刚才的启动命令输入 build/env/bin/supervisor,按回车键。启动检查,打印日志出现意味着启动服务成功。

回到页面,打开浏览器,重新点击刷新,等待加载。加载完成后弹出的其它软件的整合未完成的报错暂时不用处理,点击 hdfs 的图标打开 Hue 和 HDFS 的浏览窗口。弹出的窗口会显示根目录的文件夹,有文件则会显示文件。

image.png

验证显示的文件夹是否正确:打开 node-150070进行验证,原生的浏览目录与根目录下属内容一致,说明是正确的。

文件夹并不仅仅有显示的功能。选择一个文件夹之后,右键选择 open in browser,会弹出一个较大的文件浏览器窗口,与原生的最大区别在于它可以进行在线编辑。

如何编辑:在根目录下,点击 new 去创建一个新的文件或文件夹。例如创建文件夹,叫 hue_hdfs,点击 create;创建一个文件,叫 hello. txt,点击 create。左边几个选项按钮代表:下载、浏览文件的路径、刷新、在线编辑。点击Edit file 进行在线编辑,点击 save 进行保存。hue整合后的功能比原生的强大。

image.png

如果想修改文件,点击 Actions,它可以重命名、移动、拷贝、下载、改变权限、改变拥有者、压缩,都不需要自己敲命令,包括备份复制及压缩。删除文件点击 delete forever,弹出的窗口点击 yes。完成整合。

image.png


二、YARN 集群

YARN 集群是各种 mr 程序执行 job 的浏览。打开原生集群,输入 node-1,端口默认是8088。如果有程序执行,yarn job 的执行情况。

模拟提交程序 example 计算圆周率,输入 hadoop jar Hadoop-mapreduce­­­-examples-2.7.5.jar pi 按回车键,刷新原生页面,在原生页面上刷新后会显示执行的相关情况。

image.png

查看 hue 整合后的情况入口:点击 Jobs,进入 job 浏览器当中,浏览器会显示 MR 程序执行的相关情况,包括执行是否成功,历史日志等内容,集中整合后非常方便。

image.png

主要内容是两大块,一个是文件存储系统,叫做 HDFS 整合,通过它可以在线地浏览编辑。

另外一个是 YARN,相当于集中浏览执行的 job

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
存储 数据可视化 Java
基于MicrometerTracing门面和Zipkin实现集成springcloud2023的服务追踪
Sleuth将会停止维护,Sleuth最新版本也只支持springboot2。作为替代可以使用MicrometerTracing在微服务中作为服务追踪的工具。
185 1
|
4月前
|
Java Maven Windows
使用Java创建集成JACOB的HTTP服务
本文介绍了如何在Java中创建一个集成JACOB的HTTP服务,使Java应用能够调用Windows的COM组件。文章详细讲解了环境配置、动态加载JACOB DLL、创建HTTP服务器、实现IP白名单及处理HTTP请求的具体步骤,帮助读者实现Java应用与Windows系统的交互。作者拥有23年编程经验,文章来源于稀土掘金。著作权归作者所有,商业转载需授权。
使用Java创建集成JACOB的HTTP服务
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言,适用于教育、娱乐和商业等多个领域,为用户提供一站式的音频处理解决方案,极大地提高工作效率和音频处理的便捷性。
135 10
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
|
2月前
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
3月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
3月前
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
114 9
|
3月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
74 2
|
3月前
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
|
4月前
|
编解码 Linux 开发工具
Linux平台x86_64|aarch64架构RTMP推送|轻量级RTSP服务模块集成说明
支持x64_64架构、aarch64架构(需要glibc-2.21及以上版本的Linux系统, 需要libX11.so.6, 需要GLib–2.0, 需安装 libstdc++.so.6.0.21、GLIBCXX_3.4.21、 CXXABI_1.3.9)。
107 0
|
5月前
|
机器人 C# 人工智能
智能升级:WPF与人工智能的跨界合作——手把手教你集成聊天机器人,打造互动新体验与个性化服务
【8月更文挑战第31天】聊天机器人已成为现代应用的重要组成部分,提供即时响应、个性化服务及全天候支持。随着AI技术的发展,聊天机器人的功能日益强大,不仅能进行简单问答,还能实现复杂对话管理和情感分析。本文通过具体案例分析,展示了如何在WPF应用中集成聊天机器人,并通过示例代码详细说明其实现过程。使用Microsoft的Bot Framework可以轻松创建并配置聊天机器人,增强应用互动性和用户体验。首先,需在Bot Framework门户中创建机器人项目并编写逻辑。然后,在WPF应用中添加聊天界面,实现与机器人的交互。
157 0