开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

托管Flink这怎么进行批调度啊?

托管Flink这怎么进行批调度啊?

展开
收起
三分钟热度的鱼 2023-11-08 18:38:03 57 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在阿里云托管 Flink 上,您可以轻松进行批调度。以下是几个主要的步骤:

    1. 首先,在阿里云控制台上创建一个新的批次任务。
    2. 设置批处理作业的基本参数,例如开始时间、结束时间、触发条件等。
    3. 定义批处理作业的脚本,该脚本包含了要在任务中执行的操作和流程。
    4. 添加需要处理的任务,以及任务间的依赖关系,以确保所有任务按照预期的顺序执行。
    5. 保存批处理任务,并进行审核。
    6. 在控制台上查看批处理作业的运行状态,确认任务已经按照预期执行完毕。
    2023-11-10 14:19:08
    赞同 展开评论 打赏
  • 在Flink中进行批调度,可以通过启用批执行来使用额外的优化。例如,可以使用不同的关联或聚合策略,以实现更高效的任务调度和故障恢复行为的不同洗牌。为了解决这个问题,Flink 1.15中引入了自适应批作业调度器(Adaptive Batch Scheduler)。这种调度器会根据作业运行时每个算子需要处理的实际数据量来自动推导并行度。此外,Flink全托管支持智能调优和定时调优两种调优模式,可以根据运行过程中实际各个节点的数据量自动决定各个逻辑节点的实际并发度,从而保证每个执行并发处理的数据量大致符合用户预期。

    2023-11-09 16:01:16
    赞同 展开评论 打赏
  • 托管 Flink 支持批处理任务,有两种方式可供选择:

    1. 使用基于 DataStream API 的批处理,通过 setParallelism 方法设置批处理作业的相关参数。

      StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
      env.setParallelism(parallelism);
      
    2. 使用 Table API 的批处理功能,具体配置如下:

      StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
      StreamTableEnvironment tEnv = StreamTableEnvironment.create(env);
      tEnv.executeSql("CREATE TEMPORARY SYSTEM CATALOG hive_catalog properties ('hive.metastore.uris'='thrift://host:port') TBLPROPERTIES ('database.default'='default')");
      tEnv.sqlUpdate("CREATE TABLE input_table LIKE hive_catalog.my_table");
      tEnv.executeSql("INSERT INTO hive_catalog.output_table SELECT * FROM input_table");
      
    2023-11-08 21:39:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载