AI 助理
备案控制台
开发者社区 问答 正文

基于Direct的方式如何从Kafka中获取数据？

基于Direct的方式如何从Kafka中获取数据？

展开
收起
芯在这 2021-12-11 22:34:27 281 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    这种新的不基于Receiver的直接方式，是在Spark 1.3中引入的，从而能够确保更加健壮的机制。替代掉使用Receiver来接收数据后，这种方式会周期性地查询Kafka，来获得每个topic+partition的最新的offset，从而定义每个batch的offset的范围。当处理数据的job启动时，就会使用Kafka的简单consumer api来获取Kafka指定offset范围的数据

    2021-12-11 22:35:34
    赞同 展开评论
问答分类：
消息中间件 Kafka 云消息队列 Kafka 版
问答标签：
云消息队列 Kafka 版数据 云消息队列 Kafka 版获取数据 云消息队列 Kafka 版direct
问答地址：
开发者社区 > 微服务 > 问答
相关问答
DataWorks我从kafka获取数据到hive 是什么原因呀？
71
1
0
有大佬知道这是怎么回事么 flink读不到kafka数据
1198
1
0
麻烦问一下，我们现在的架构是希望数据统一从 Kafka 中出，但是又想用 Flink CDC，请问
1108
1
0
请问大家，我怎么根据 Kafka 中的 Debezium 数据在 MySQL 中建库、建表、同步数据
959
0
0
cdc同步mysql到Kafka时 若mysql历史数据(大概十几亿条)较多 startup设置
522
0
0
flink cdc内置了kafka 监听binlog文件的时候 是把所有监听的数据写入kafka的
1614
4
0
flink版本1.14.2 kafka版本0.11.0.1 精确一次模式生产数据报错，有遇到过的吗？
1696
1
0
各位kafka里多张表的数据 flink sql如何 分别映射不同的表呢？
821
1
0
flink有api可以像 spark那样批出 kafka数据吗？
945
6
0
Flink-CDC 采集 Oracle 数据发送到下游 kafka 或其他存储端时, 数据不断膨胀
814
0
0