Flink CDC中Mongo cdc 不支持 earliest?

Flink CDC中Mongo cdc 不支持 earliest?initial 没有数据目前任务没有报错。 我们公司是之前都在用2.3,现在2.4新增了timestamp功能,现在想升级2.4,本地IDEA调试 initial没有数据进入 。bd023b114504479bd2cd1bd52131577a.png

展开
收起
十一0204 2023-07-26 07:11:30 95 分享 版权
3 条回答
写回答
取消 提交回答
  • 根据你提供的信息,以下是关于 Flink CDC 中使用 MongoDB CDC 的一些可能原因:

    1. MongoDB CDC 版本兼容性问题:Flink CDC 2.4 版本中新增了对 timestamp 的支持。 如果你的 MongoDB CDC 版本较旧(2.3 或更早版本),可能不支持 earliestinitial 选项。

    2. CDC 配置错误:请确保正确配置了 Flink CDC 连接器,包括 MongoDB 数据库的连接信息、集合名称、过滤条件等。检查配置是否准确且与实际需求相匹配。

    3. 数据过滤条件:如果在 Flink CDC 配置中使用了过滤条件,而该条件不匹配任何数据行,就不会有任何数据进入任务。确保过滤条件与 MongoDB 中的数据匹配。

    4. MongoDB 数据源状态:检查 MongoDB 数据源的状态,确保连接正常并且没有出现异常。可以查看日志文件以获取更多详细信息,并根据错误消息调整配置。

    5. 版本升级问题:如果你正在将 Flink CDC 从 2.3 升级到 2.4,可能要考虑版本升级带来的一些变化和新功能。确保按照新版本的要求进行相应的配置和操作。

    为了更准确地确定问题所在,建议提供更多关于 Flink CDC 和 MongoDB CDC 的配置信息、版本信息以及相关日志。这将有助于我们更好地理解问题并提供相应的解决方案。

    2023-07-31 23:35:25
    赞同 展开评论
  • 北京阿里云ACE会长

    Flink CDC 中的 MongoDB Connector 目前不支持 earliest 语义。在使用 Flink CDC 进行 MongoDB 的 CDC 同步时,需要通过指定 checkpoint、timestamp 或者 specific offset 等方式来确定开始同步的位置。
    具体来说,Flink CDC 中 MongoDB Connector 支持以下三种方式来确定开始同步的位置:
    Checkpoint:在使用 checkpoint 方式时,CDC Connector 会根据 Flink 的 checkpoint 机制来确定开始同步的位置。具体来说,CDC Connector 会从最近的一个 checkpoint 的状态恢复,然后从上一个 checkpoint 的位置开始同步数据。
    Timestamp:在使用 timestamp 方式时,CDC Connector 会从指定的时间戳开始同步数据。具体来说,CDC Connector 会从 MongoDB 中最早的大于等于指定时间戳的 Oplog 记录开始同步数据。
    Specific offset:在使用 specific offset 方式时,CDC Connector 会从指定的 offset 开始同步数据。具体来说,CDC Connector 会从指定 offset 的下一个 Oplog 记录开始同步数据。
    需要注意的是,在使用 Tim

    2023-07-29 17:09:39
    赞同 展开评论
  • 意中人就是我呀!

    打个jar包跑个集群试下。此回答整理至钉群“Flink CDC 社区”。

    2023-07-26 12:02:56
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理