开发者社区> 问答> 正文

正常工作的hadoop集群中hadoop都分别需要启动那些进程,他们的作用分别是什么,

正常工作的hadoop集群中hadoop都分别需要启动那些进程,他们的作用分别是什么,

展开
收起
不语奈何 2020-01-09 19:07:17 2443 0
2 条回答
写回答
取消 提交回答
  • 对于yarn模式下: 还有resourcemanager:负责节点管理,资源管理和调度,app管理等。 nodemanager:负责task的container启动,里面还有mapreduce托管的shuffle service管理shuffle数据。

    2020-03-02 20:18:30
    赞同 展开评论 打赏
  • 精于基础,广于工具,熟于业务。

    1) NameNode: HDFS的守护进程,负责记录文件是如何分割成数据块,以及这些数据块分别被存储到那些数据节点上,它的主要功能是对内存及IO进行集中管理

    2) Secondary NameNode:辅助后台程序,与NameNode进行通信,以便定期保存HDFS元数据的快照。

    3) DataNode:负责把HDFS数据块读写到本地的文件系统。

    4) JobTracker:负责分配task,并监控所有运行的task。

    5) TaskTracker:负责执行具体的task,并与JobTracker进行交互。

    2020-01-09 19:07:43
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多