开发者社区 > 大数据与机器学习 > 正文

大佬们?Flink CDC如何提高下游的消费能力? 我现在insert table 下游的算子已经红

大佬们?Flink CDC如何提高下游的消费能力? 我现在insert table 下游的算子已经红了?image.png SET 'parallelism.default' = '1';SET 'pipeline.max-parallelism' = '10'; 这两个吗?我设置了这两个参数 但是下游parall 还是1image.png image.png 大佬 我现在把源设置为了1;sink设置为了10; 但是sink会报错; 如果source为1 sink为1, sink没办法消费这么多全量数据 500W左右,消费能力不够,一直在消费。比如统计到了500w+, 然后又会从0开始统计,这样循环往复,insert到sink的时候,insert到sink的时候image.png 类似这样,payoder.是订单表 sourceimage.png

展开
收起
真的很搞笑 2023-06-11 15:22:16 86 0
2 条回答
写回答
取消 提交回答
  • 如果您在使用Flink CDC时发现下游的消费能力有限,可以尝试以下方法来提高下游的消费能力:

    1. 增加下游算子的并行度:可以通过增加下游算子的并行度来提高其消费能力。如果下游算子的并行度已经很高,可以考虑增加下游算子的资源配额,例如CPU、内存等。

    2. 缩短数据流的延迟:可以通过优化Flink CDC的配置,或者优化下游算子的代码来缩短数据流的延迟,从而提高下游的消费能力。

    3. 使用异步IO操作:如果下游算子需要进行IO操作,可以考虑使用异步IO操作,以避免IO操作对下游算子的消费能力造成影响。

    4. 增加下游存储的吞吐量:如果下游算子需要写入大量数据,可以考虑使用高吞吐量的存储系统,例如分布式存储系统,以提高下游的消费能力。

    需要注意的是,Flink CDC本身并不会限制下游算子的消费能力,因此如果下游算子的消费能力有限,可能是由于下游算子的资源配额不足、代码逻辑存在问题等原因造成的。因此,建议您结合具体情况,针对性地进行优化。

    2023-06-13 16:34:16
    赞同 展开评论 打赏
  • 加大并行,cdc并行度只有1,Jdbc消费数据?PAY order是cdc?,此回答整理自钉群“Flink CDC 社区”

    2023-06-11 15:27:13
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载