开发者社区> 问答> 正文

kafka整合sparkStreaming采用receiver方式的优缺点是什么?

kafka整合sparkStreaming采用receiver方式的优缺点是什么?

展开
收起
xin在这 2021-12-08 11:40:57 276 0
1 条回答
写回答
取消 提交回答
  • 采用receiver方式:这种方式可以保证数据不丢失,但是无法保证数据只被处理一次,WAL实现的是At-least-once语义(至少被处理一次),如果在写入到外部存储的数据还没有将offset更新到zookeeper就挂掉,这些数据将会被反复消费. 同时,降低了程序的吞吐量。

    2021-12-08 11:41:17
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载