AI 助理
备案控制台
开发者社区 问答 正文

kafka整合sparkStreaming采用direct方式的优缺点是什么？

kafka整合sparkStreaming采用direct方式的优缺点是什么？

展开
收起
芯在这 2021-12-08 11:41:59 438 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    采用direct方式:相比Receiver模式而言能够确保机制更加健壮. 区别于使用Receiver来被动接收数据, Direct模式会周期性地主动查询Kafka, 来获得每个topic+partition的最新的offset, 从而定义每个batch的offset的范围. 当处理数据的job启动时, 就会使用Kafka的简单consumer api来获取Kafka指定offset范围的数据。

    2021-12-08 12:12:21
    赞同 展开评论
问答分类：
消息中间件 Kafka 云消息队列 Kafka 版
问答标签：
云消息队列 Kafka 版优缺点 云消息队列 Kafka 版sparkstreaming 云消息队列 Kafka 版direct 云消息队列 Kafka 版sparkstreaming方式优缺点
问答地址：
开发者社区 > 微服务 > 问答
相关问答
Apache Kafka Streams 使用宽限时间方案有何优缺点？
102
1
0
基于Direct的方式如何从Kafka中获取数据？
284
1
0
Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？
522
1
0
kafka整合sparkStreaming采用receiver方式的优缺点是什么？
315
1
0
如何实现sparkStreaming读取kafka中的数据？
332
1
0
actor与thread写sparkstreaming多线程消费kafka时候，哪个更好一些？
846
0
0
写hbase+接口的时候是否需要单例模式，hbase+连接是否需要关闭？【应用场景：sparkstreaming+从kafka+拿数据存入hbase
6320
3
0
使用原生kafka+sparkstreaming生产的数据如何实现每六秒写入到maxcompute当中
2166
1
0
[@项籍][¥20]kafka 和rabbitmq 在大中型企业应用各自的优缺点，各自擅长的使用场景
2620
2
0
[@项籍][¥20]kafka的direct与receive方式如何选择
1832
0
0