Flink CDC里mongo cdc 从checkpoint启动，发现又同步全量数据了，什么情况？

在使用Flink CDC的MongoDB CDC连接器时，如果从Checkpoint启动后发现又同步了全量数据，可能是以下原因导致的：

1. Resume Token失效

MongoDB CDC通过Checkpoint记录Change Stream的Resume Token来实现从断点恢复。如果Resume Token对应的记录在oplog.rs（MongoDB变更日志集合）中已经被清理或不存在，则会导致无法从增量阶段恢复，从而重新触发全量同步。

解决方案：

• 调整oplog.rs的大小：确保oplog.rs的保留时间足够长，避免Resume Token对应的记录被过早清理。可以通过MongoDB的配置参数调整oplog.rs的大小，详情请参考MongoDB官方文档。
• 缩短Checkpoint间隔时间：减少Checkpoint的时间间隔，确保Resume Token能够及时更新并保存到Checkpoint中，降低失效风险。

2. Checkpoint未正确保存Resume Token

如果Checkpoint未能正确保存Resume Token，或者Checkpoint本身损坏，也会导致从Checkpoint启动时无法恢复增量同步，从而重新触发全量同步。

解决方案：

• 检查Checkpoint配置：确保Flink作业的Checkpoint配置正确，特别是execution.checkpointing.interval和execution.checkpointing.tolerable-failed-checkpoints等参数是否合理。
• 验证Checkpoint文件完整性：检查Checkpoint文件是否存在损坏或丢失的情况。如果发现问题，可以尝试从更早的Checkpoint恢复。

3. MongoDB运行模式不支持增量同步

MongoDB CDC依赖于Change Stream功能，而Change Stream需要MongoDB运行在副本集或分片集群架构下。如果MongoDB运行在单节点架构下，可能会导致增量同步失败，从而重新触发全量同步。

解决方案：

• 确认MongoDB运行模式：确保MongoDB运行在副本集或分片集群架构下。如果是单节点架构，可以通过执行rs.initiate()命令初始化为单节点副本集。
• 检查错误日志：如果出现类似The $changeStream stage is only supported on replica sets的错误，说明MongoDB运行模式不满足要求。

4. 表结构变更或新增表的影响

如果在全量同步阶段发生了表结构变更，或者新增了表，可能会导致作业无法正常从增量阶段恢复，从而重新触发全量同步。

解决方案：

• 避免在全量阶段进行表结构变更：尽量避免在全量同步阶段对表结构进行修改。如果必须修改，建议停止作业并重新启动。
• 启用新增表同步配置：如果需要同步新增表，可以开启scan.newly-added-table.enabled或scan.binlog.newly-added-table.enabled配置项，但需注意两者不建议同时开启，否则可能导致数据重复问题。

5. 其他可能的原因

• 网络或权限问题：如果MongoDB CDC连接器在读取Change Stream时遇到网络中断或权限问题，可能会导致增量同步失败，从而重新触发全量同步。
• Debezium相关参数不支持：MongoDB CDC连接器并不依赖Debezium项目，因此不支持Debezium相关的参数配置。如果误用了相关参数，可能会导致同步异常。

解决方案：

• 检查网络和权限配置：确保MongoDB CDC连接器能够正常访问MongoDB实例，并且用户凭证具有足够的权限。
• 避免使用Debezium参数：确认配置中未使用与Debezium相关的参数。

总结

从Checkpoint启动后重新同步全量数据的问题，通常与Resume Token失效、Checkpoint配置不当、MongoDB运行模式不支持增量同步、表结构变更或新增表等因素有关。建议按照上述解决方案逐一排查问题，并根据具体场景调整配置以避免类似问题再次发生。