要将Flink CDC sink到mongodb,你需要以下的包:flink-connector-mongodb-cdc
。为了设置MongoDB CDC连接器,你需要在构建自动化工具(例如Maven或SBT)中使用以下依赖关系信息:
<Maven:
<dependency>
<groupId>com.ververica</groupId>
<artifactId>flink-connector-mongodb-cdc</artifactId>
<version>2.3-SNAPSHOT</version>
</dependency>
在使用DataStream API时,若要启用增量快照功能,请在构造MongoDBSource数据源时,使用com.ververica.cdc.connectors.mongodb.source
包中的MongoDBSource#builder()
;否则,使用com.ververica.cdc.connectors.mongodb
中的MongoDBSource#builder()
。
MongoDB CDC(公测中)https://help.aliyun.com/zh/flink/developer-reference/mongodb-cdc-connector?spm=a2c4g.11186623.0.i266#section-891-6s1-1ml
前提条件
使用MongoDB CDC连接器的基础功能时,必须开启待监控的MongoDB数据库的副本集(Replica Set)功能,详情请参见Replication。
如需使用Full Changelog事件流功能,则需开启MongoDB数据库的前像后像(Pre- and Post-images)记录功能,详情请参见Document Preimages。
如果启用了MongoDB的鉴权功能,则需要使用具有以下数据库权限的MongoDB用户:
splitVector权限
listDatabases权限
listCollections权限
collStats权限
find权限
changeStream权限
config.collections和config.chunks集合的访问权限
使用限制
仅VVR 8.0.1及以上版本支持使用MongoDB CDC连接器。
MongoDB CDC仅支持作为源表使用,不支持作为结果表和维表。
MongoDB 4.0以下版本不支持指定时间戳的启动模式。
MongoDB 6.0以下版本不支持产生Full Changelog事件流。
flink-connector-mongodb
https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/connectors/table/mongodb/,此回答整理自钉群“Flink CDC 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。