hdfs web_ui深入讲解、服务启动日志分析、NN SNN关系

hdfs启动顺序：

     1、namenode

      2、datenode

     3、secondnamenode        

     4、yarn

webui: 

          默认为50070端口，dfsheath

    ui内容讲解：

          ClusterID: namenode格式化时生成的（hdfs namenode -format）

          BlockpoolID：数据块池

           （为了federation 和内存管理使用。）

     namenode Journal status:

         就是edit日志

     namenode storage：     

          镜像文件存储信息

启动日志文件目录 $HADOOP_HOME/logs：

      x.log: 通过log4j记录，记录大部分应用程序的日志信息

      x.out  记录标准输出和标准错误日志，少量记录

日志文件的命名规则：

     [  框架名称- 用户名- 进程名- 主机名--日志格式后缀 ]

Secondary namenode:

        1、客户端对hdfs的操作会记录到edits文件中， 即journal 。

        2、namenode 内存中的内容为 fsimage+edits

        3、 namenode 的fsimage和edite文件定时合并后，同步到secondary namenode上。

本文转自 Wilson9527 51CTO博客，原文链接：http://blog.51cto.com/devops9527/1853263，如需转载请自行联系原作者