开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我们用Flink CDC2.4的mongodb cdc的时候发现,取近几个小时的时间戳任务是正常的?

我们用Flink CDC2.4的mongodb cdc的时候发现,取近几个小时的时间戳任务是正常的,但是如果取1天以前的时间戳启动任务时,任务会正常运行,但是不会有数据进来,新变动的数据也不会有。大佬知道为什么吗?

展开
收起
cuicuicuic 2023-08-01 14:44:56 51 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在使用 Flink CDC 的 MongoDB Connector 进行数据同步时,可能会出现取近几个小时的时间戳任务正常,而取较早时间戳任务失败的情况。

    这可能是由于 MongoDB Connector 使用的 oplog(操作日志)机制,导致 oplog 中的数据无法及时同步到 Flink 中。oplog 中的数据可以追溯到一定的时间范围内,但可能会因为 oplog 的限制而无法追溯到更早的时间。

    为了解决这个问题,您可以尝试以下的解决方案:

    调整 MongoDB oplog 的大小
    您可以通过调整 MongoDB oplog 的大小来延长 oplog 中数据的保留时间,从而可以追溯到更早的时间。具体的操作方式可以参考 MongoDB 官网中的文档。

    调整 Flink CDC 的时间戳策略
    Flink CDC Connector 中的时间戳策略可以通过配置文件进行调整。您可以尝试调整时间戳策略,使用更加灵活的时间戳机制,从而可以获取到更早的数据。具体的操作方式可以参考 Flink CDC Connector 的官方文档。

    需要注意的是,以上仅是一些可能导致问题的原因和解决方案,具体情况还需要根据您的实际场景进一步分析。建议您对 Flink CDC 程序的使用情况进行定期审计和监控,及时发现和处理异常情况。

    2023-08-01 23:01:31
    赞同 展开评论 打赏
  • 没测试过,暂时不知道,不好意思,此回答整理自钉群“Flink CDC 社区”

    2023-08-01 14:55:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载