开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中flinksql 中没找到对应的并行度配置, datastream 中倒是有?

Flink CDC中flinksql 中没找到对应的并行度配置, datastream 中倒是有?

展开
收起
真的很搞笑 2023-11-16 08:07:44 63 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink SQL中,并行度可以通过调用setParallelism()函数来配置。例如,如果你想要将流的并行度设置为4,可以在创建表源或者表 sink时调用如下函数:

    CREATE TABLE MyTable (
        ...
    ) WITH (
        'connector' = ...,
        'format' = ...,
        'update-mode' = 'append',
        ...
    )
    
    .setParallelism(4)
    

    如果你想要更改整个流的并行度,可以在流的开始处添加如下语句:

    SET parallelism=4;
    

    需要注意的是,如果在 Flink SQL中同时指定了并行度和执行环境的并行度,则最终的并行度将会是两者之间的最小值。
    而在DataStream API中,并行度可以通过DataStream.setParallelism()函数来配置。如果未显式指定并行度,则默认为1。

    2023-11-16 13:21:04
    赞同 展开评论 打赏
  • 是的,Flink SQL和DataStream API在处理并行度问题时方式是不同的。

    在Flink SQL中,并行度是由Flink任务自动管理的,你不需要显式地设置。Flink会根据你的数据源和目标表的分区信息,以及Flink任务的并行度,自动地将数据分发到不同的并行执行线程进行处理。

    而在DataStream API中,你需要显式地设置并行度。你可以通过调用setParallelism()方法来设置Flink任务的并行度。

    2023-11-16 10:10:29
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载