开发者社区> 问答> 正文

正常工作的hadoop集群中hadoop都分别启动哪些进程以及他们的作用?

正常工作的hadoop集群中hadoop都分别启动哪些进程以及他们的作用?

展开
收起
xin在这 2021-12-05 18:49:04 494 0
1 条回答
写回答
取消 提交回答
  • (1) NameNode 它是 hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问,保存有metadate

    (2) DataNode 它负责管理连接到节点的存储(一个集群中可以有多个节点)每个存储数据的节点运行一个datanode 守护进程

    (3) SecondaryNameNode它不是namenode的冗余守护进程,而是提供周期检查点和清理任务。帮助NN合并editslog,减少NN启动时间

    (4) ResourceManager(JobTracker)JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker,它们执行实际工作

    (5) NodeManager(TaskTracker)执行任务

    (6) DFSZKFailoverController高可用时它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)

    (7) JournalNode 高可用情况下存放namenode的 editlog 文件

    2021-12-05 19:03:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多