开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问一下Flink,咱们这个平台怎么关闭 动态调整并发度 的功能?

请问一下Flink,咱们这个平台怎么关闭 动态调整并发度 的功能? 因为我在测试环境,用的和生产环境相同的Jar包, 测试环境不想调整那么放开调整那么多并发度, 设置了全局并发度,好像也没控制住

展开
收起
真的很搞笑 2024-01-04 14:23:24 80 0
2 条回答
写回答
取消 提交回答
  • 在Apache Flink中,你可以通过设置job的parallelism来控制作业的并发度。你可以通过JobClient或者提交作业时设置-pyramid参数来设置作业的并行度。

    如果你已经在测试环境中使用了和生产环境相同的Jar包,并且这个Jar包中包含了生产环境的并行度配置,那么你需要修改这个Jar包,使其在测试环境中使用不同的并行度配置。你可以在你的代码中添加一个配置参数,然后在运行作业时通过-D参数来设置这个配置参数的值。

    例如,假设你在你的代码中定义了一个名为"my.parallelism"的配置参数,那么你可以在运行作业时使用以下的命令来设置这个参数的值:

    ./bin/flink run -Dmy.parallelism=10 <your_jar_file>.jar
    

    在这个命令中,"my.parallelism"是你的配置参数名,"10"是你想要设置的并行度。你可以根据你的需求来设置这个参数的值。

    2024-01-05 15:00:19
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    要关闭Flink的动态调整并发度功能,可以通过设置execution.adaptive.enabled参数为false来实现。在Flink的配置文件(通常是flink-conf.yaml)中添加以下配置:

    execution:
      adaptive:
        enabled: false
    

    这样设置后,Flink将不会根据作业的实际负载情况动态调整并发度。请注意,这可能会导致资源利用率不高或者作业执行时间较长。

    2024-01-04 16:00:39
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载