开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink是不是下个月出调度的功能?

Flink是不是下个月出调度的功能?

展开
收起
三分钟热度的鱼 2023-12-06 19:08:42 84 0
11 条回答
写回答
取消 提交回答
  • 无所不能的蛋蛋

    image.png
    官方文档上显示已经公测,具体时间还不知道,楼主再等等

    2024-01-28 23:18:55
    赞同 1 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,据阿里云官方消息,目前已经处于公测状态,具体如下所示:
    image.png

    注意:本回答参考了阿里云Flink官网

    2024-01-27 15:22:53
    赞同 展开评论 打赏
  • 目前已经处于公测状态,后面可以耐心等待一下。微信截图_20231028103855.png

    2024-01-21 20:51:11
    赞同 展开评论 打赏
  • 任务编排目前为公测功能,公测阶段不保障服务等级协议SLA。如果您在使用过程中遇到相关问题,可以提交工单。仅中国地区支持任务编排功能。
    image.png
    使用流程
    image.png

    ——参考来源于阿里云官方文档

    2024-01-20 17:01:01
    赞同 1 展开评论 打赏
  • 深耕大数据和人工智能

    对的,Flink确实计划在下个月推出任务调度的功能。调度器将会成为 Flink 作业执行的核心组件,负责管理所有与作业执行相关的流程,包括 JobGraph 到 ExecutionGraph 的转换、作业生命周期管理(如作业的发布、取消、停止等)、作业和 Task 的容错处理等。此外,Flink的执行过程是一个将逻辑流图转换为物理数据流图的过程,详细说明程序的执行方式。同时,Flink全托管也提供了自动调优功能,可以根据不同情况选择合适的调优模式。任务调度对于Flink应用的性能有着重要影响,通过调整默认行为以及控制作业链与作业分配可以优化应用性能。

    2024-01-18 11:29:29
    赞同 1 展开评论 打赏
  • image.png
    已经进入公测阶段了

    2024-01-16 09:42:18
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    任务编排是一个全托管的工作流调度服务,通过可视化的操作界面轻松地编排批作业运行的顺序,构建数据仓库,在实时计算Flink版平台实现开发、调度、部署和运维一体化。

    image.png

    2024-01-13 19:49:46
    赞同 展开评论 打赏
  • 某政企事业单位安全运维工程师,主要从事系统运维及网络安全工作,多次获得阿里云、华为云、腾讯云征文比赛一二等奖;CTF选手,白帽,全国交通行业网络安全大赛二等奖,全国数信杯数据安全大赛银奖,手握多张EDU、CNVD、CNNVD证书,欧盟网络安全名人堂提名,联合国网络安全名人堂提名

    image.png

    是的,目前已经出来了

    2024-01-13 14:38:01
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    image.png
    调度器是 Flink 作业执行的核心组件,管理作业执行的所有相关过程,包括 JobGraph 到 ExecutionGraph 的转换、作业生命周期管理(作业的发布、取消、停止)、作业的 Task 生命周期管理( Task 的发布、取消、停止) 、资源申请与释放、作业和 Task 的容错等。
    在调度相关的体系中有几个非常重要的组件。

    调度器:SchedulerNG 及其子类、实现类。
    调度策略:SchedulingStrategy 及其实现类。
    调度模式:ScheduleMode 包含流和批的调度,有各自不同的调度模式。

    1、调度器
    作业调度器是作业的执行、异常处理的核心,具备如下基本能力。

    作业的生命周期管理,如作业开始调度、挂起、取消。
    作业执行资源的申请、分配、释放。
    作业的状态管理,作业发布过程中的状态变化和作业异常时的容错等。
    作业的信息提供,对外提供作业的详细信息。

    在 Flink 中有两个调度器的实现。

    DefaultScheduler
    该调度器是当前版本的默认调度器,是 Flink 新的调度设计,使用 SchedulerStrategy 来实现调度。

    LegacyScheduler
    该调度器是遗留的调度器,实际上使用了原来的 ExecutionGraph 的调度逻辑,在后文中不再阐述该调度器的调度过程。

    2、调度行为
    SchedulerStrategy 接口定义了调度行为,其中定义了四种行为。

    startScheduling:调度入口,触发调度器的调度行为。
    restartTasks:重启执行失败的 Task,一般是 Task 执行异常导致的。
    onExcutionStateChange:当 Execution 的状态发生改变时。
    onPartitionConsumable:当 IntermediateResultPartition 中的数据可以消费时。

    3、调度模式
    Flink 一共提供了 3 种调度模式:Eager 调度、分阶段调度、分阶段 Slot 重用调度。不同的调度模式分别适用于不同的场景。

    Eager 调度
    该模式适用于流计算。一次性申请所有需要的资源,如果资源不足,则作业启动失败。

    分阶段调度
    分阶段调度(Lazy_From_Sources)适用于批处理。从 Source Task 开始分阶段调度,申请资源的时候,一次性申请本阶段所需要的所有资源。上游 Task 执行完毕后开始调度执行下游的 Task,读取上游的数据,执行本阶段的计算任务,执行完毕之后,调度后一个阶段的 Task,依次进行调度,直到作业执行完成。

    分阶段 Slot 重用调度
    分阶段 Slot 重用调度(Lazy_From_Sources_With_Batch_Slot_Request)适用于批处理,与分阶段调度基本一样,区别在于该模式下使用批处理资源申请模式,可以在资源不足的情况下执行作业,但是需要确保在本阶段的作业执行中没有 Shuffle 行为。
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

    2024-01-12 21:17:07
    赞同 展开评论 打赏
  • 目前还在公测阶段,具体什么时候出,你可关注官方上的信息
    image.png

    2024-01-12 16:25:17
    赞同 展开评论 打赏
  • 任务编排目前为公测功能,公测阶段不保障服务等级协议SLA。如果您在使用过程中遇到相关问题,可以提交工单。

    仅中国地区支持任务编排功能。https://help.aliyun.com/zh/flink/user-guide/workflow/?spm=a2c4g.11186623.0.i61

    image.png

    2024-01-12 13:58:33
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载