有遇到过Mongo Shake数据库同步collection数量对不齐，document数量也对不齐

在使用MongoShake进行数据库同步时，可能会遇到目标端与源端的集合（collection）数量不一致，或者部分集合的文档（document）数量不一致的情况。即使日志中没有报错信息，这种问题仍然可能发生。以下是可能导致这种情况的原因及解决方法：

1. 集合数量不一致的可能原因及解决方法

1.1 源端和目标端存在同名集合

• 如果目标端已经存在与源端同名的集合，MongoShake可能会跳过这些集合的同步操作，导致集合数量不一致。
• 解决方法：
  • 在同步任务启动前，检查目标端是否已存在同名集合。如果存在，可以选择删除或重命名目标端的集合。
  • 在配置文件中设置full_sync.collection_exist_drop = true，以确保在同步前自动删除目标端的同名集合。注意：此操作会删除目标端的集合，请务必提前备份数据。

1.2 同步对象未正确配置

• 如果同步任务中未正确选择需要同步的集合，可能会导致部分集合未被同步。
• 解决方法：
  • 确保在配置文件中正确设置了需要同步的对象。例如，通过transform.namespace参数指定源库和目标库的映射关系。
  • 检查collector.conf文件中的source和target配置，确保所有需要同步的集合都包含在内。

2. 文档数量不一致的可能原因及解决方法

2.1 主键冲突

• 如果目标端集合中已存在与源端相同的主键（默认为_id），MongoShake可能会跳过这些文档的同步操作，导致文档数量不一致。
• 解决方法：
  • 在同步任务启动前，检查目标端集合是否存在与源端相同的主键。如果存在，建议清空目标端的相关数据，或者修改目标端的主键值。
  • 在配置文件中设置full_sync.executor.insert_on_dup_update = true，将INSERT语句更改为UPDATE语句，避免因主键冲突导致的数据丢失。

2.2 增量同步延迟

• 如果增量同步阶段存在延迟，可能会导致部分文档未能及时同步到目标端。
• 解决方法：
  • 检查MongoShake的日志文件，确认增量同步是否正常运行。如果发现延迟较大，可以在源端执行一个更新操作以刷新延迟信息。
  • 调整incr_sync.target_delay参数，设置合理的延迟时间（单位为秒）。例如，将延迟时间设置为30分钟：

  incr_sync.target_delay = 1800
  

2.3 数据过滤条件

• 如果在同步任务中设置了过滤条件，可能会导致部分文档被排除在同步范围之外。
• 解决方法：
  • 检查collector.conf文件中的过滤条件配置，确保没有误设过滤规则。例如，通过filter.ddl_enable参数控制DDL同步的开启状态。

3. 其他潜在问题及排查方法

3.1 索引重建导致的数据差异

• 在全量同步阶段，MongoShake会对目标端重新创建索引，这可能会导致物理存储大小的差异，但不会影响逻辑数据的一致性。
• 排查方法：
  • 使用以下命令检查源端和目标端的文档数量、索引大小及可重用空间：

  db.<collection>.stats().count
  db.<collection>.stats().indexSizes
  db.<collection>.stats().wiredTiger["block-manager"]["file bytes available for reuse"]
  

  如果文档数量一致，但索引大小或可重用空间存在差异，则属于正常现象。

3.2 网络或性能瓶颈

• 如果源端服务器的出口带宽不足，或者目标端的写入性能受限，可能会导致部分数据未能成功同步。
• 解决方法：
  • 确保源端服务器具备足够的出口带宽，并优化目标端的写入性能。例如，调整full_sync.reader.collection_parallel和full_sync.reader.write_document_parallel参数，分别设置并发拉取集合的数量和单个集合的写入线程数。

4. 总结与建议

• 集合数量不一致：检查目标端是否存在同名集合，并确保同步对象配置正确。
• 文档数量不一致：排查主键冲突、增量同步延迟及数据过滤条件等问题。
• 其他潜在问题：关注索引重建和网络性能对同步结果的影响。

如果以上方法仍无法解决问题，建议查看MongoShake的日志文件（如collector.log），并结合具体错误信息进一步分析。同时，可以联系阿里云技术支持团队获取帮助。您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。