如题,按照官方文档的kafka source部分,有如下配置说明。
scan.startup.mode : optionalgroup-offsetsStringStartup mode for Kafka
consumer, valid values are 'earliest-offset', 'latest-offset',
'group-offsets', 'timestamp' and 'specific-offsets'. See the following
Start Reading Position for more details.
其中Reading Positions部分说明如下:
The config option scan.startup.mode specifies the startup mode for
Kafka consumer. The valid enumerations are:
group-offsets
: start from committed offsets in ZK / Kafka brokers of
a specific consumer group.
earliest-offset
: start from the earliest offset possible.
latest-offset
: start from the latest offset.
timestamp
: start from user-supplied timestamp for each partition.
specific-offsets
: start from user-supplied specific offsets for each
partition.
可见,latest-offset和group-offsets是2个配置,所以我配置latest-offset肯定是从最新部分开始消费的,而不管使用的说明group
id,以及这个group id已提交的offset,这个估计没问题。
然后我想知道的是:带有latest-offset这个配置的情况下,sql任务自动重启基于检查点的情况呢?是否从最新消费,还是基于检查点的offset消费。
对于flink stream中实现,我知道是从检查点offset的,为此我还覆盖过实现。 现在想知道下sql部分实现是否也类似,不想去查sql部分,不熟悉。*来自志愿者整理的flink邮件归档
sql 也是会从上一次成功的 checkpoint 中保存的 offset 位置开始恢复数据的.*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。