开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有人使用 flink-cdc-mongodb 或者其他吗?做过大集群的读取没有?

有人使用 flink-cdc-mongodb 或者 flink-connector-mongodb 做过大集群的读取没有? 同步不动啊,几十亿的源数据, 同步任务跑起来,每小时只能搞个600万,同步完都要1个多月, 数据还持续写入。用flink-cdc单并行度很慢,, 用 flink-connector-mongodb 按照chunk多并行度读取,也快不了多少。我能想到能加快的是先将mongodb的chunk移动关闭,然后通过读取chunk,自己写代码到不同的副本上去取, 但代码比较麻烦。另外服务器的高版本mongodb , 源库是mongodb 4.0.4 版本太低了,不敢升级。

展开
收起
小小鹿鹿鹿 2024-03-25 18:35:26 24 0
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载