Flink这个错误是为什么发生?从kafka往Doris sink数据时候报错, 偏移量还是自动提交了,导致修复后启动消费,那条错误的数据丢失了,没有消费到。
Flink在从Kafka往Doris Sink数据传输时出现的错误,主要源于偏移量的自动提交失败。这种情况通常意味着Kafka消费者无法成功地将偏移量提交。当Flink Kafka源未启用检查点时,它会依赖于Kafka消费者内部的自动定期偏移提交逻辑,由Kafka消费者的属性配置enable.auto.commit并在其属性中配置auto.commit.interval.ms来控制偏移量的提交频率。
关于你提到的修复后启动消费,那条错误的数据丢失了,没有消费到的问题,可能的原因是在故障发生时,偏移量已经提交到了Kafka中,但是在修复后再次启动消费时,由于某些原因(如时间戳处理等),导致那条错误的数据没有被正确处理。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。