开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink批模式提高并行度,发现不管怎么调参数,并行度都是1,怎么解决这个问题?

flink批模式提高并行度,发现不管怎么调参数,并行度都是1,怎么解决这个问题?

展开
收起
圆葱猪肉包 2023-04-19 16:28:46 247 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云实时计算 Flink 版中,Flink 批模式的并行度可以通过以下两种方式进行设置:

    1. 通过 SQL 编辑器的“高级参数”进行设置

    在 SQL 编辑器中,可以选择“高级参数”选项,然后找到“执行配置”中的“并行度”设置,将其设置为期望的并行度即可。这种方式比较简单,适合对并行度调优要求不高的场景。

    1. 修改 Flink 任务的配置文件

    阿里云实时计算 Flink 版允许通过“配置管理”模块对 Flink 任务的配置进行修改。通过在 flink-conf.yaml 文件中添加如下配置,可以在任务运行时指定默认并行度:

    parallelism.default: ${job_parallelism}
    

    其中,${job_parallelism}需要设置一个具体的整数值,表示任务默认的并行度。

    2023-04-30 23:09:13
    赞同 展开评论 打赏
  • 有的算子会限制是1,看看你算子的实现或者组件的源码,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-04-19 22:30:14
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载