开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC sink到mongodb需要什么包?

Flink CDC sink到mongodb需要什么包?

展开
收起
真的很搞笑 2023-12-01 08:33:50 45 0
3 条回答
写回答
取消 提交回答
  • 要将Flink CDC sink到mongodb,你需要以下的包:flink-connector-mongodb-cdc。为了设置MongoDB CDC连接器,你需要在构建自动化工具(例如Maven或SBT)中使用以下依赖关系信息:

    <Maven:
    <dependency>
      <groupId>com.ververica</groupId>
      <artifactId>flink-connector-mongodb-cdc</artifactId>
      <version>2.3-SNAPSHOT</version>
    </dependency>
    

    在使用DataStream API时,若要启用增量快照功能,请在构造MongoDBSource数据源时,使用com.ververica.cdc.connectors.mongodb.source包中的MongoDBSource#builder();否则,使用com.ververica.cdc.connectors.mongodb中的MongoDBSource#builder()

    2023-12-02 17:16:30
    赞同 展开评论 打赏
  • MongoDB CDC(公测中)https://help.aliyun.com/zh/flink/developer-reference/mongodb-cdc-connector?spm=a2c4g.11186623.0.i266#section-891-6s1-1ml

    前提条件
    使用MongoDB CDC连接器的基础功能时,必须开启待监控的MongoDB数据库的副本集(Replica Set)功能,详情请参见Replication。

    如需使用Full Changelog事件流功能,则需开启MongoDB数据库的前像后像(Pre- and Post-images)记录功能,详情请参见Document Preimages。

    如果启用了MongoDB的鉴权功能,则需要使用具有以下数据库权限的MongoDB用户:

    splitVector权限

    listDatabases权限

    listCollections权限

    collStats权限

    find权限

    changeStream权限

    config.collections和config.chunks集合的访问权限

    使用限制
    仅VVR 8.0.1及以上版本支持使用MongoDB CDC连接器。

    MongoDB CDC仅支持作为源表使用,不支持作为结果表和维表。

    MongoDB 4.0以下版本不支持指定时间戳的启动模式。

    MongoDB 6.0以下版本不支持产生Full Changelog事件流。

    2023-12-02 11:53:57
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像