开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink这个问题怎么解决?

Flink这个问题怎么解决?我这边自定义连接器的话,测试下来不同版本的vvr也是可以的,sql方式全都可以拿到增量快照的数据同时测试了本地idea和本地flink cluster,对于不同版本的mongo也测试了,但是可以拿到数据,证明没问题。然后又测试了,flink 1.17 、1.15 上vvr,开源mongodb-cdc 2.4.x就是拿不到数据,。只是简单的 ds.print()。控制台一直是没有任何输出。vvr的输出
a9da9a568b96fb16c0c98e730aeedc8a.png
21440642e4305591ca89181a171204f2.png
990dcb75f1406111649872b1196e049c.png
本地cluster的输出
fbe607bcb62eb36045820936fa8eeced.png

展开
收起
三分钟热度的鱼 2023-11-15 20:51:19 56 0
1 条回答
写回答
取消 提交回答
  • 对于您在Flink 1.17和1.15版本上使用vvr和开源mongodb-cdc 2.4.x无法获取数据的问题,可能的原因有很多。首先,需要确认的是,MongoDB CDC是Flink CDC社区提供的一个用于捕获变更数据的Flink连接器。该连接器可以连接到MongoDB数据库和集合,并捕获其中的数据变更。

    如果您的自定义连接器在不同的环境和版本中表现不一致,那么可能的原因包括但不限于:网络问题、配置问题、依赖问题等。为了解决这个问题,您可以采取以下步骤:

    1. 检查您的网络连接是否正常,确保Flink集群可以正常访问MongoDB数据库。
    2. 检查您的配置是否正确,包括Flink和vvr的配置以及自定义连接器的配置。
    3. 检查您的依赖是否正确,包括Flink的版本、vvr的版本以及自定义连接器的依赖。
    2023-11-17 11:00:53
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载