请问flink CDC中 Flink mongo cdc2.1.1有没有可能按时间?看了下只能设置copyExisting,得升级到2.4.0
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Flink MongoDB CDC 2.1.1 支持按时间戳捕捉 MongoDB 中的数据变化。具体来说,您可以通过配置 Flink MongoDB CDC 的时间戳模式来指定时间戳的生成方式。Flink MongoDB CDC 支持三种时间戳模式:
OPLOG_TIMESTAMP:使用 Oplog 中的时间戳作为事件时间戳。
SYSTEM_CURRENT_TIME:使用系统当前时间作为事件时间戳。
SYSTEM_STARTUP_TIME:使用 Flink 程序启动时间作为事件时间戳。
您可以在 Flink MongoDB CDC 的配置文件中配置时间戳模式,例如:
Copy
flink.mongo-cdc.timestamp-mode: OPLOG_TIMESTAMP
其中,“OPLOG_TIMESTAMP”表示使用 Oplog 中的时间戳作为事件时间戳。如果您希望按时间戳捕捉 MongoDB 中的数据变化,可以选择“OPLOG_TIMESTAMP”模式,并确保 MongoDB 中的 Oplog 已经开启。在此模式下,Flink MongoDB CDC 会按照 Oplog 中的时间戳生成事件时间戳,并将其作为 Flink 流处理中的事件时间戳。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。