AI 助理
备案控制台
开发者社区 问答 正文

Spark获取Kafka数据的两种方式分别是什么？

Spark获取Kafka数据的两种方式分别是什么？

展开
收起
游客fq2cv4o24bhvc 2021-12-07 17:27:06 342 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客zxdz7pcxbx2uc

    1、基于Receiver的方式：此方式是通过zookeeper来连接Kafka队列，使用kafka的高层次consumer API来实现

    2、基于Direct的方式：此方式直接连接到Kafka的节点上获取数据

    2021-12-07 17:30:42
    赞同 展开评论
问答分类：
消息中间件 分布式计算 Kafka Spark 云消息队列 Kafka 版
问答标签：
云消息队列 Kafka 版数据 apache spark数据 apache spark kafka spark云消息队列 Kafka 版 云消息队列 Kafka 版spark
问答地址：
开发者社区 > 大数据 > 问答
相关问答
为什么选择从Kafka + Spark Streaming转向Flink？
76
1
0
Spark Structured Streaming 和 Kafka 在数据完整性推理上有何不足？
94
1
0
我公司现在要把azure上的Kafka集群和spark集群迁移到阿里云上 能直接通过服务器迁移中心
171
4
0
spark写kafka，如何让分区分布均衡呢？
372
1
0
请教一个问题。我在用spark读取hbase数据时，默认是一个regoin一个task。发现有些re
1188
0
0
有大佬知道这是怎么回事么 flink读不到kafka数据
1200
1
0
麻烦问一下，我们现在的架构是希望数据统一从 Kafka 中出，但是又想用 Flink CDC，请问
1109
1
0
请问大家，我怎么根据 Kafka 中的 Debezium 数据在 MySQL 中建库、建表、同步数据
963
0
0
Spark中数据的位置是如何管理的？
436
1
0
Spark中数据的位置是被谁管理的啊？
462
1
0