hdfs web_ui深入讲解、服务启动日志分析、NN SNN关系

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: hdfs启动顺序:     1、namenode      2、datenode     3、secondnamenode             4、yarnwebui:           默认为50070端口,dfsheath    ui内容讲解:          ClusterID: namenode格式化时生成的(hdfs namenode -format)          BlockpoolID:数据块池           (为了federation 和内存管理使用。

hdfs启动顺序:

     1、namenode

      2、datenode

     3、secondnamenode        

     4、yarn

webui: 

          默认为50070端口,dfsheath

    ui内容讲解:

          ClusterID: namenode格式化时生成的(hdfs namenode -format)

          BlockpoolID:数据块池

           (为了federation 和内存管理使用。)

          

     namenode Journal status:

         就是edit日志

     namenode storage:     

          镜像文件存储信息

     

               

          

          

     

启动日志文件目录 $HADOOP_HOME/logs:

      x.log: 通过log4j记录,记录大部分应用程序的日志信息

      x.out  记录标准输出和标准错误日志,少量记录

日志文件的命名规则:

     [  框架名称- 用户名- 进程名- 主机名--日志格式后缀 ]




Secondary namenode:

        1、客户端对hdfs的操作会记录到edits文件中, 即journal 。

        2、namenode 内存中的内容为 fsimage+edits

        3、 namenode 的fsimage和edite文件定时合并后,同步到secondary namenode上。

     


相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
人工智能 自然语言处理 安全
揭秘AI诈骗:如何防范和应对
揭秘AI诈骗:如何防范和应对
830 0
|
11月前
|
Linux iOS开发 MacOS
如何设置 Ping 命令的超时时间?
如何设置 Ping 命令的超时时间?
1940 3
|
10月前
|
Ubuntu Linux Shell
/etc/rc.d/rc.local 的作用
/etc/rc.d/rc.local是Linux系统中的一个重要配置文件,其主要作用是在系统启动时执行特定的命令或脚本。以下是关于/etc/rc.d/rc.local的详细解释: ### 作用 * **系统启动任务配置**:该文件允许系统管理员或用户配置在系统启动时需要自动运行的任务。这些任务可以是启动服务、运行特定程序或执行脚本等。 * **开机自启动程序**:通过编辑/etc/rc.d/rc.local文件,用户可以自定义开机启动程序。只需将需要开机启动的程序命令或脚本路径添加到该文件中,并在系统启动时该文件将被自动执行。 ### 文件内容 * 通常包含一个shell脚本,该脚本在
714 12
|
存储 机器学习/深度学习 自然语言处理
知识图谱和向量数据库的关系
知识图谱和向量数据库在处理不同类型的数据和任务中具有各自的优势。它们可以在大语言模型中相互结合,以处理复杂的需求,提供更全面和准确的信息检索和推理能力。这种结合为我们在自然语言处理和机器学习领域中解决实际问题提供了有力的工具和方法。
2157 1
|
前端开发 JavaScript API
【第15期】一文读懂前端Astro框架
【第15期】一文读懂前端Astro框架
1072 0
|
机器学习/深度学习 人工智能 自然语言处理
🔬技术宅必看!AI Prompt深度解析,商业数据分析的科学魔法
【8月更文挑战第1天】在快速发展的科技领域中, AI Prompt 正革新商业数据分析方式。它通过自然语言指令, 驱动 AI 模型实现数据洞察。本文探讨 AI Prompt 的定义、原理及其在商业分析中的应用。**最佳实践包括**: 精准设计 Prompt 以确保清晰具体的指令; 结合领域知识优化 Prompt, 提升分析准确性; 采用迭代法, 根据反馈持续改进模型性能。掌握 AI Prompt 技术, 不仅提高效率, 更能洞察商机, 创造价值。
557 0
|
存储 JavaScript 安全
Vue 3 环境变量配置
Vue 3 环境变量配置
|
Web App开发 JavaScript 前端开发
不光好上手,功能还特强的 Vue 3组件!且开源免费!
不光好上手,功能还特强的 Vue 3组件!且开源免费!
|
编译器 C语言 开发者
Qt Quick 常见控件与子控件布局规则
Qt Quick 常见控件与子控件布局规则
270 1
|
消息中间件 Kafka API
【Kafka】kafka 如何不消费重复数据?
【4月更文挑战第7天】【Kafka】kafka 如何不消费重复数据?