楼主你好,据阿里云官方消息,目前已经处于公测状态,具体如下所示:
注意:本回答参考了阿里云Flink官网
对的,Flink确实计划在下个月推出任务调度的功能。调度器将会成为 Flink 作业执行的核心组件,负责管理所有与作业执行相关的流程,包括 JobGraph 到 ExecutionGraph 的转换、作业生命周期管理(如作业的发布、取消、停止等)、作业和 Task 的容错处理等。此外,Flink的执行过程是一个将逻辑流图转换为物理数据流图的过程,详细说明程序的执行方式。同时,Flink全托管也提供了自动调优功能,可以根据不同情况选择合适的调优模式。任务调度对于Flink应用的性能有着重要影响,通过调整默认行为以及控制作业链与作业分配可以优化应用性能。
任务编排是一个全托管的工作流调度服务,通过可视化的操作界面轻松地编排批作业运行的顺序,构建数据仓库,在实时计算Flink版平台实现开发、调度、部署和运维一体化。
是的,目前已经出来了
调度器是 Flink 作业执行的核心组件,管理作业执行的所有相关过程,包括 JobGraph 到 ExecutionGraph 的转换、作业生命周期管理(作业的发布、取消、停止)、作业的 Task 生命周期管理( Task 的发布、取消、停止) 、资源申请与释放、作业和 Task 的容错等。
在调度相关的体系中有几个非常重要的组件。
调度器:SchedulerNG 及其子类、实现类。
调度策略:SchedulingStrategy 及其实现类。
调度模式:ScheduleMode 包含流和批的调度,有各自不同的调度模式。
1、调度器
作业调度器是作业的执行、异常处理的核心,具备如下基本能力。
作业的生命周期管理,如作业开始调度、挂起、取消。
作业执行资源的申请、分配、释放。
作业的状态管理,作业发布过程中的状态变化和作业异常时的容错等。
作业的信息提供,对外提供作业的详细信息。
在 Flink 中有两个调度器的实现。
DefaultScheduler
该调度器是当前版本的默认调度器,是 Flink 新的调度设计,使用 SchedulerStrategy 来实现调度。
LegacyScheduler
该调度器是遗留的调度器,实际上使用了原来的 ExecutionGraph 的调度逻辑,在后文中不再阐述该调度器的调度过程。
2、调度行为
SchedulerStrategy 接口定义了调度行为,其中定义了四种行为。
startScheduling:调度入口,触发调度器的调度行为。
restartTasks:重启执行失败的 Task,一般是 Task 执行异常导致的。
onExcutionStateChange:当 Execution 的状态发生改变时。
onPartitionConsumable:当 IntermediateResultPartition 中的数据可以消费时。
3、调度模式
Flink 一共提供了 3 种调度模式:Eager 调度、分阶段调度、分阶段 Slot 重用调度。不同的调度模式分别适用于不同的场景。
Eager 调度
该模式适用于流计算。一次性申请所有需要的资源,如果资源不足,则作业启动失败。
分阶段调度
分阶段调度(Lazy_From_Sources)适用于批处理。从 Source Task 开始分阶段调度,申请资源的时候,一次性申请本阶段所需要的所有资源。上游 Task 执行完毕后开始调度执行下游的 Task,读取上游的数据,执行本阶段的计算任务,执行完毕之后,调度后一个阶段的 Task,依次进行调度,直到作业执行完成。
分阶段 Slot 重用调度
分阶段 Slot 重用调度(Lazy_From_Sources_With_Batch_Slot_Request)适用于批处理,与分阶段调度基本一样,区别在于该模式下使用批处理资源申请模式,可以在资源不足的情况下执行作业,但是需要确保在本阶段的作业执行中没有 Shuffle 行为。
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
任务编排目前为公测功能,公测阶段不保障服务等级协议SLA。如果您在使用过程中遇到相关问题,可以提交工单。
仅中国地区支持任务编排功能。https://help.aliyun.com/zh/flink/user-guide/workflow/?spm=a2c4g.11186623.0.i61
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。