作业任务的调度过程是怎样的?

作业任务的调度过程是怎样的?

展开
收起
詹姆斯邦德00 2021-11-17 17:12:56 532 分享 版权
1 条回答
写回答
取消 提交回答
  • 任务具有很多种不同状态,最初任务处在 Created 状态。当调度策略认为这个任务可以开始被调的时候,它会转到 Scheduled 状态,并开始申请资源,即Slot。申请到 Slot 之后,它就转到 Deploying 状态来生成 Task 的描述,并部署到worker 节点上,再之后 Task 就会在 worker 节点上启动起来。成功启动后,它会在 worker 节点上转到 running 状态并通知 JobMaster,然后在 JobMaster 端把任务的状态转到 running。

    对于无限流的作业来说,转到 running 状态就是最终状态了;对于有限流的作业,一旦所有数据处理完了,任务还会转到 finished 状态,标志任务完成。当有异常发生时,任务也会转到 Failed 的状态,同时其它受到影响的任务可能会被 Cancel掉并走到 Canceled 状态。

    资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189 

    2021-11-17 19:31:55
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理