请教一下 mongodb cdc 断点续传要怎么设置呢

在MongoDB中实现变更数据捕获(CDC)的断点续传功能，通常涉及到利用如MongoShake这样的工具来进行数据同步。以下是设置断点续传的基本步骤和配置示例，参考您的需求及知识库中的信息：

断点续传设置步骤

1. 安装与配置MongoShake

   • 确保目标系统已安装Python 2.7版本，因为MongoShake依赖于此版本运行。
   • 下载并配置MongoShake。您需要编辑collector.conf文件来设定各项参数，特别是与断点续传相关的配置。

2. 配置Checkpoint存储

   在collector.conf文件中，配置Checkpoint存储地址以支持断点续传：

   checkpoint.storage.url = mongodb://<用户名>:<密码>@<数据库地址>:<端口>,<备库地址>:<端口>
   

   如果不配置，默认会根据实例类型自动选择存储位置（副本集实例写入mongoshake库，分片集群实例写入ConfigServer节点的admin库）。

3. 自定义Checkpoint相关参数

   • 设置Checkpoint存储的数据库名和集合名，避免冲突或按需组织：

     checkpoint.storage.db = mongoshake
     checkpoint.storage.collection = ckpt_custom_name
     

   • 可选地，指定断点续传的开始位置，但若Checkpoint位点已存在则此参数无效：

     checkpoint.start_position = 1970-01-01T00:00:00Z
     

4. 启动MongoShake并监控状态

   • 使用配置好的collector.conf启动MongoShake进程。
   • 开启另一个命令行窗口监控同步状态，确保增量数据同步正常进行，并能观察到断点续传的效果：

     cd /your/mongoshake/path && ./mongoshake-stat -port=9100
     

注意事项

• 网络稳定性：确保网络环境稳定，减少因网络问题导致的同步中断。
• 权限验证：配置MongoShake时，确保用于连接源数据库和存储Checkpoint的账号具有足够的权限。
• DDL同步限制：如果源端是MongoDB分片集群实例，MongoShake不支持开启DDL同步，请将filter.ddl_enable设为false。

通过上述配置，MongoShake能够在同步过程中记录进度至Checkpoint，当遇到中断情况时能够从上次成功的位置继续同步，实现断点续传的功能。