开发者社区> 问答> 正文

flinksql 消费kafka offset问题

flink消费kafka 只能使用checkpoint去维护offset吗 我这边使用'scan.startup.mode' = 'group-offsets' 如果中间报错了 或者停止任务,但是我下游sink还没有完成, 下次启动直接跳过这个报错的数据,会丢数据,谢谢回复*来自志愿者整理的flink邮件归档

展开
收起
毛毛虫雨 2021-12-08 11:49:10 2278 0
1 条回答
写回答
取消 提交回答
  • 对的是我!

    下游sink还没有完成, offset 不是在checkpoint 里面的吗?
    下次启动会从你ck的位置恢复才对。
    除非你sink 是异步操作,告诉上游你sink 完成了,实际你sink失败了 *来自志愿者整理的flink邮件归档

    2021-12-08 17:08:40
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载