hdfs web_ui深入讲解、服务启动日志分析、NN SNN关系

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: hdfs启动顺序:     1、namenode      2、datenode     3、secondnamenode             4、yarnwebui:           默认为50070端口,dfsheath    ui内容讲解:          ClusterID: namenode格式化时生成的(hdfs namenode -format)          BlockpoolID:数据块池           (为了federation 和内存管理使用。

hdfs启动顺序:

     1、namenode

      2、datenode

     3、secondnamenode        

     4、yarn

webui: 

          默认为50070端口,dfsheath

    ui内容讲解:

          ClusterID: namenode格式化时生成的(hdfs namenode -format)

          BlockpoolID:数据块池

           (为了federation 和内存管理使用。)

          

     namenode Journal status:

         就是edit日志

     namenode storage:     

          镜像文件存储信息

     

               

          

          

     

启动日志文件目录 $HADOOP_HOME/logs:

      x.log: 通过log4j记录,记录大部分应用程序的日志信息

      x.out  记录标准输出和标准错误日志,少量记录

日志文件的命名规则:

     [  框架名称- 用户名- 进程名- 主机名--日志格式后缀 ]




Secondary namenode:

        1、客户端对hdfs的操作会记录到edits文件中, 即journal 。

        2、namenode 内存中的内容为 fsimage+edits

        3、 namenode 的fsimage和edite文件定时合并后,同步到secondary namenode上。

     


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4月前
HDFS web Interfaces功能解读
HDFS web Interfaces功能解读
|
1月前
|
消息中间件 监控 Kafka
Apache Kafka 成为处理实时数据流的关键组件。Kafka Manager 提供了一个简洁的 Web 界面
随着大数据技术的发展,Apache Kafka 成为处理实时数据流的关键组件。Kafka Manager 提供了一个简洁的 Web 界面,方便管理和监控 Kafka 集群。本文详细介绍了 Kafka Manager 的部署步骤和基本使用方法,包括配置文件的修改、启动命令、API 示例代码等,帮助你快速上手并有效管理 Kafka 集群。
43 0
|
7月前
web作业2
web作业2
44 1
|
分布式计算
33 MAPREDUCE的 web日志预处理
33 MAPREDUCE的 web日志预处理
72 0
|
7月前
|
监控 API 数据处理
Flink web ui不仅仅是一个监控指标性能的网站
Flink web ui不仅仅是一个监控指标性能的网站
323 3
|
7月前
|
Java
【web server】整体流程解析
【web server】整体流程解析
|
JavaScript 前端开发 Java
Apache Oozie- 安装部署服务启动 &web UI|学习笔记
快速学习 Apache Oozie- 安装部署服务启动 &web UI,本节课重点为 oozie 服务的启动与关闭,并解决页面时区显示异常的问题
Apache Oozie- 安装部署服务启动 &web UI|学习笔记
|
存储 缓存 NoSQL
分布式服务器框架之Servers.Core中 实现Log模块设计 写入MongoDB数据库
游戏服务器中都需要用到Log模块,log模块存在的意义第一个是将log输出到控制台又或者是写入到log文件中,出了BUG方便定位;第二是常用于将用户的数据(例如玩家登录、道具购买量)将这种log统计到数据库中,方便统计用户留存信息、数据分析等。
web作业:水费计算
/** @param w number @return number
59 0