我们用Flink CDC2.4的mongodb cdc的时候发现，取近几个小时的时间戳任务是正常的？
我们用Flink CDC2.4的mongodb cdc的时候发现，取近几个小时的时间戳任务是正常的，但是如果取1天以前的时间戳启动任务时，任务会正常运行，但是不会有数据进来，新变动的数据也不会有。大佬知道为什么吗？
写回答
-
北京阿里云ACE会长在使用 Flink CDC 的 MongoDB Connector 进行数据同步时，可能会出现取近几个小时的时间戳任务正常，而取较早时间戳任务失败的情况。
这可能是由于 MongoDB Connector 使用的 oplog（操作日志）机制，导致 oplog 中的数据无法及时同步到 Flink 中。oplog 中的数据可以追溯到一定的时间范围内，但可能会因为 oplog 的限制而无法追溯到更早的时间。
为了解决这个问题，您可以尝试以下的解决方案：
调整 MongoDB oplog 的大小
您可以通过调整 MongoDB oplog 的大小来延长 oplog 中数据的保留时间，从而可以追溯到更早的时间。具体的操作方式可以参考 MongoDB 官网中的文档。调整 Flink CDC 的时间戳策略
Flink CDC Connector 中的时间戳策略可以通过配置文件进行调整。您可以尝试调整时间戳策略，使用更加灵活的时间戳机制，从而可以获取到更早的数据。具体的操作方式可以参考 Flink CDC Connector 的官方文档。需要注意的是，以上仅是一些可能导致问题的原因和解决方案，具体情况还需要根据您的实际场景进一步分析。建议您对 Flink CDC 程序的使用情况进行定期审计和监控，及时发现和处理异常情况。
2023-08-01 23:01:31赞同 展开评论 打赏 -
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
