AI 助理
备案控制台
开发者社区 问答 正文

kafka整合sparkStreaming采用receiver方式的优缺点是什么？

kafka整合sparkStreaming采用receiver方式的优缺点是什么？

展开
收起
芯在这 2021-12-08 11:40:57 301 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    采用receiver方式：这种方式可以保证数据不丢失，但是无法保证数据只被处理一次，WAL实现的是At-least-once语义（至少被处理一次），如果在写入到外部存储的数据还没有将offset更新到zookeeper就挂掉,这些数据将会被反复消费. 同时,降低了程序的吞吐量。

    2021-12-08 11:41:17
    赞同 展开评论
问答分类：
消息中间件 Kafka 云消息队列 Kafka 版
问答标签：
云消息队列 Kafka 版优缺点 云消息队列 Kafka 版sparkstreaming 云消息队列 Kafka 版receiver 云消息队列 Kafka 版sparkstreaming方式优缺点
问答地址：
开发者社区 > 微服务 > 问答
相关问答
Apache Kafka Streams 使用宽限时间方案有何优缺点？
67
1
0
基于Receiver的方式如何从Kafka中获取数据？
360
1
0
Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？
488
1
0
kafka整合sparkStreaming采用direct方式的优缺点是什么？
406
1
0
如何实现sparkStreaming读取kafka中的数据？
313
1
0
Spark Streaming基于receiver的方式连接kafka有什么特点？
448
1
0
Spark基于receiver的方式获取Kafka数据有什么缺点？
453
1
0
actor与thread写sparkstreaming多线程消费kafka时候，哪个更好一些？
825
0
0
写hbase+接口的时候是否需要单例模式，hbase+连接是否需要关闭？【应用场景：sparkstreaming+从kafka+拿数据存入hbase
6238
3
0
使用原生kafka+sparkstreaming生产的数据如何实现每六秒写入到maxcompute当中
2110
1
0