开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中如果设置fetchSize为1000,代表每个会有2000个并发读取吗?

Flink CDC中如果设置fetchSize为1000,chunkjSIze 2000 代表每个会有2000个并发读取?每个都是每批读取1000条?怎么理解这两个参数相互作用?image.png

展开
收起
真的很搞笑 2023-10-10 18:54:53 320 0
2 条回答
写回答
取消 提交回答
  • 在Flink CDC中,fetchSizechunkSize是两个配置参数,用于控制Flink CDC读取数据的并发度和读取数据的批次大小。
    fetchSize参数表示Flink CDC读取数据的并发度,即每次读取的数据量。chunkSize参数表示Flink CDC读取数据的批次大小,即每次读取的数据量。
    fetchSize参数设置为1000时,表示Flink CDC每次读取1000条数据。当chunkSize参数设置为2000时,表示Flink CDC每次读取2000条数据。因此,Flink CDC会同时读取2000条数据,每批读取1000条。
    fetchSizechunkSize参数是相互影响的。当fetchSize参数设置为1000时,chunkSize参数设置为2000时,Flink CDC会同时读取2000条数据,每批读取1000条。当fetchSize参数设置为2000时,chunkSize参数设置为1000时,Flink CDC会同时读取2000条数据,每批读取2000条。
    因此,在设置fetchSizechunkSize参数时,需要根据实际需求和数据量来选择合适的值。如果数据量较小,可以选择较小的fetchSizechunkSize值;如果数据量较大,可以选择较大的fetchSizechunkSize值。

    2023-10-11 11:04:58
    赞同 1 展开评论 打赏
  • Size是数量大小意思,不是并发,此回答整理自钉群“Flink CDC 社区”

    2023-10-11 10:15:41
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载