开发者社区 问答 正文

kafka整合sparkStreaming采用direct方式的优缺点是什么?

kafka整合sparkStreaming采用direct方式的优缺点是什么?

展开
收起
芯在这 2021-12-08 11:41:59 427 分享 版权
1 条回答
写回答
取消 提交回答
  • 采用direct方式:相比Receiver模式而言能够确保机制更加健壮. 区别于使用Receiver来被动接收数据, Direct模式会周期性地主动查询Kafka, 来获得每个topic+partition的最新的offset, 从而定义每个batch的offset的范围. 当处理数据的job启动时, 就会使用Kafka的简单consumer api来获取Kafka指定offset范围的数据。

    2021-12-08 12:12:21
    赞同 展开评论