开发者社区 > 大数据与机器学习 > 正文

大佬们,问个小白问题,flink cdc不是只能单线程采集数据,然后把采集的数据放到kafka,ka

大佬们,问个小白问题,flink cdc不是只能单线程采集数据,然后把采集的数据放到kafka,kafka,5个分区,你们说并行度设置多少合适?用yarn per job提交, -Dparallelism.default,设置成多少?跟kafka分区数一致,说设置成5,还是跟源头一样,直接设置成1

展开
收起
真的很搞笑 2023-04-26 14:21:02 127 0
1 条回答
写回答
取消 提交回答
  • 增加并行度主要是增加吞吐,如果sink并行度为1没有观察到明显延迟,可以先设置成1,此回答整理自钉群“Flink CDC 社区”

    2023-04-27 15:53:05
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    多IO线程优化版 立即下载
    消息队列kafka介绍 立即下载