Flink CDC中可不可以配置mysql源端控制提取变更数据的间隔 类似配置成每5秒获取变更数据这种?
看源码里好像真没有TIMESTAMP,但是枚举里有定义
oracle
在 Flink CDC 中,可以通过配置参数来控制增量同步的频率和间隔。具体来说,您可以通过以下两个参数来控制 Flink CDC 提取变更数据的时间间隔:
scan.interval.ms:该参数用于指定增量同步的时间间隔,单位为毫秒。例如,如果您将该参数设置为 5000,则 Flink CDC 每 5 秒会从源数据库读取一次变更数据。
scan.startup.mode:该参数用于指定增量同步的启动模式,例如 earliest-offset、latest-offset、specific-offsets 等。如果您将该参数设置为 latest-offset,则 Flink CDC 会在启动后立即读取一次最新的变更数据,并在 scan.interval.ms 的时间间隔内继续读取增量数据。
是的,Flink CDC 中可以配置 MySQL 源端控制提取变更数据的间隔。您可以使用 poll.interval.ms
参数来设置轮询间隔,以便控制 Flink CDC 从 MySQL 数据库中获取变更数据的频率。
具体而言,poll.interval.ms
参数用于指定两次轮询之间的等待时间,单位为毫秒。您可以将该参数设置为 5000(即 5 秒),以实现每 5 秒获取一次变更数据的效果。
示例配置如下:
debezium.poll.interval.ms=5000
在配置文件中添加上述配置,并将其传递给 Flink CDC 应用程序,即可将轮询间隔设置为 5 秒。
请注意,不同的 CDC 连接器可能会有不同的参数名称和语法,具体取决于所使用的连接器版本和功能。因此,在实际配置过程中,请参考相应的文档或源码,以确保正确使用和理解参数
poll.interval.ms和max.batch.size有这两个参数可以参考。你这是哪个connector啊,枚举里的值不只给一个connector用的。其他connector有支持TIMESTAMP的。,此回答整理自钉群“Flink CDC 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。