作业管理:在调度系统中作业管理包括作业提交权限控制,作业运行状态查看权限控制等。 用户和分组:在Hadoop系统中以组为单位组织管理作业,每个用户只能向固定分组中提交作业,只能使用固定分组中配置的资源。同时可以限制每个用户提交的作业数、使用的资源等。 资源池:是Hadoop公平调度Fiar Scheduler中的概念,一个资源池可以对应一个用户(User)、一个分组(Group)、或者一个队列(Queue)。 队列:队列是Hadoop中提出的概念,一个队列(Queue)可以由任意几个分组(Group)和任意几个用户(User)组成。 资源槽位:是Hadoop分布式系统进行资源管理的基本单位,是集群计算资源的抽象化,每个资源槽位都代表可以运行的一个任务(Map任务和Reduce任务)。Hadoop集群中的每个计算节点都拥有一定数量的资源槽,具体数目需要每个用户依据每个节点的内存、CPU等信息确定并配置,默认每个节点两个资源槽位,表示每个计算节点可以并发运行两个任务 作业调度和任务调度:第一级是作业调度,也就是作业选择,作业调度器选取作业集合中的一个等待调度的作业。第二级是任务调度,也就是任务分配,由任务调度器在第一级选择的作业中选取一个就绪的任务来运行。 心跳:主节点负责管理所有从节点的资源,而这种管理是通过主从节点之间的心跳信息来互相通信的,也就是从节点定时向主节点发送状态信息————心跳信息来报告自己当前的状况 本地化资源和非本地化资源:待调度资源的作业集合中有一个作业至少存一个任务的代处理数据存位于该计算节点上,那么就可以称为这个计算节点是这个作业的本地化资源。 本地化调度和非本地化调度
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。