开发者社区> 问答> 正文

hadoop中作业调度相关概念是什么?

hadoop中作业调度相关概念是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:16:16 262 0
1 条回答
写回答
取消 提交回答
  • 作业管理:在调度系统中作业管理包括作业提交权限控制,作业运行状态查看权限控制等。 用户和分组:在Hadoop系统中以组为单位组织管理作业,每个用户只能向固定分组中提交作业,只能使用固定分组中配置的资源。同时可以限制每个用户提交的作业数、使用的资源等。 资源池:是Hadoop公平调度Fiar Scheduler中的概念,一个资源池可以对应一个用户(User)、一个分组(Group)、或者一个队列(Queue)。 队列:队列是Hadoop中提出的概念,一个队列(Queue)可以由任意几个分组(Group)和任意几个用户(User)组成。 资源槽位:是Hadoop分布式系统进行资源管理的基本单位,是集群计算资源的抽象化,每个资源槽位都代表可以运行的一个任务(Map任务和Reduce任务)。Hadoop集群中的每个计算节点都拥有一定数量的资源槽,具体数目需要每个用户依据每个节点的内存、CPU等信息确定并配置,默认每个节点两个资源槽位,表示每个计算节点可以并发运行两个任务 作业调度和任务调度:第一级是作业调度,也就是作业选择,作业调度器选取作业集合中的一个等待调度的作业。第二级是任务调度,也就是任务分配,由任务调度器在第一级选择的作业中选取一个就绪的任务来运行。 心跳:主节点负责管理所有从节点的资源,而这种管理是通过主从节点之间的心跳信息来互相通信的,也就是从节点定时向主节点发送状态信息————心跳信息来报告自己当前的状况 本地化资源和非本地化资源:待调度资源的作业集合中有一个作业至少存一个任务的代处理数据存位于该计算节点上,那么就可以称为这个计算节点是这个作业的本地化资源。 本地化调度和非本地化调度

    2021-12-06 08:19:54
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多