请问flink CDC中 Flink mongo cdc2.1.1有没有可能按时间?

请问flink CDC中 Flink mongo cdc2.1.1有没有可能按时间?看了下只能设置copyExisting,得升级到2.4.0

展开
收起
十一0204 2023-07-19 16:35:10 97 分享 版权
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink MongoDB CDC 2.1.1 支持按时间戳捕捉 MongoDB 中的数据变化。具体来说,您可以通过配置 Flink MongoDB CDC 的时间戳模式来指定时间戳的生成方式。Flink MongoDB CDC 支持三种时间戳模式:

    OPLOG_TIMESTAMP:使用 Oplog 中的时间戳作为事件时间戳。

    SYSTEM_CURRENT_TIME:使用系统当前时间作为事件时间戳。

    SYSTEM_STARTUP_TIME:使用 Flink 程序启动时间作为事件时间戳。

    您可以在 Flink MongoDB CDC 的配置文件中配置时间戳模式,例如:

    Copy
    flink.mongo-cdc.timestamp-mode: OPLOG_TIMESTAMP
    其中,“OPLOG_TIMESTAMP”表示使用 Oplog 中的时间戳作为事件时间戳。如果您希望按时间戳捕捉 MongoDB 中的数据变化,可以选择“OPLOG_TIMESTAMP”模式,并确保 MongoDB 中的 Oplog 已经开启。在此模式下,Flink MongoDB CDC 会按照 Oplog 中的时间戳生成事件时间戳,并将其作为 Flink 流处理中的事件时间戳。

    2023-07-29 21:07:49
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理