开发者社区> 问答> 正文

使用Kafka作为Flink的输入源是性能瓶颈吗?

Flink允许从Kafka主题中读取,这是一个性能瓶颈,使Flink总体上变慢了吗?

展开
收起
flink小助手 2018-11-28 16:08:30 3663 0
1 条回答
写回答
取消 提交回答
  • flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。

    "Kafka分区可以水平扩展以适应更高的吞吐量。

    一个Flink使用者线程只能分配给一个Kafka分区。

    因此,如果你只有1个Kafka分区和N+1Flink执行程序,那么您将拥有N空闲任务,这可能是瓶颈,当然,但这是在Kafka主题中进行总排序的权衡,而不一定是Flink问题。

    否则,你将创建具有十到几百个分区的Kafka主题,而Flink可以使用它。"

    2019-07-17 23:16:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载