开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中mongo的cdc包只有瘦包是吗?

Flink CDC中mongo的cdc包只有瘦包是吗?image.png

展开
收起
cuicuicuic 2023-12-01 11:06:16 26 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC的MongoDB CDC连接器提供了全增量一体化的CDC读取以及元数据提取的功能,它支持通过Change Stream API高效地捕获MongoDB的数据库和集合中的文档变更,包括插入、修改、替换、删除等事件,并将其转换为Flink的数据流。此外,从Flink CDC 2.1.0版本开始,该连接器还增加了对未开启认证的MongoDB的支持。

    对于一些比较灵活的存储结构,MongoDB CDC还提供了RawType转换,用户可以通过UDF的形式对其进行自定义解析。请注意,为了使用MongoDB CDC连接器,您需要在项目中添加相应的依赖项。

    2023-12-02 16:16:10
    赞同 展开评论 打赏
  • Flink CDC的MongoDB CDC连接器提供了全增量一体化读取功能,可以同时采集MongoDB数据库中的存量数据以及增量数据。该连接器的核心是利用Change Stream API来高效地捕获MongoDB的数据库和集合中的文档变更,包括插入、修改、替换、删除等各种事件,并将其转换为Flink能够处理的Changelog数据流。

    对于您提到的“瘦包”问题,我理解您可能是在询问是否只有精简版的Flink CDC MongoDB连接器。目前,为了设置MongoDB CDC连接器,需要在项目中添加相应的依赖关系信息。例如,如果您使用Maven构建工具,可以在pom.xml文件中添加如下依赖:<groupId>com.ververica</groupId> <artifactId>flink-connector-mongodb-cdc</artifactId> <version>2.5-SNAPSHOT</version>。需要注意的是,这里的版本号可能需要根据最新的稳定版本进行更新。

    2023-12-02 15:54:57
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载