flink kafka 消费的数据 如果分批数据，那么offset 是连续的吗？
flink kafka 消费的数据 如果分批数据，那么offset 是连续的吗？
展开
收起
来自：阿里云实时计算Flink
1
条回答
写回答
写回答
-
资深技术专家，全网粉丝10W+。主攻技术开发，擅长分享、写文、测评。在 Flink 中处理 Kafka 数据时，如果分批数据消费，则通常情况下，该批次中的记录在 Kafka 的排序偏移量（即 offset）上是连续的，但也要注意以下两个方面：
当使用某些 Kafka 消费者客户端时，它们可能会出于性能优化目的按照不同的偏移量按批量读取数据，因此 Flink 无法控制 Kafka 客户端的读取方式，因此不能保证 offset 在整批数据中是连续的。
Kafka 中消息的顺序容易被打乱。一方面，Kafka 可能在复制消息时发生重排；另一方面，在多个 Flink TaskManager 上跨分区/分片的处理操作，也可能会造成消息顺序不连续，此时就需要使用 Kafka 的“精确一次”语义来保证消息顺序。
2023-04-22 19:52:44赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
来源圈子
更多
收录在圈子:
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。
相关文档：
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
