开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里mysql-cdc 做全量历史数据同步的时候如何控制同步速度么?

Flink CDC里mysql-cdc 做全量历史数据同步的时候如何控制同步速度么?调整chunk-size参数大小么?想限速 用cdc-pipeline 下游doris的io负载有些高,配置还行 3fe 3be 32GB 128GB。替换库名,45d01957ec5613f260a6667227a92147.png是的 配置没啥问题 但cdc的参数用的也都是默认的 scan.incremental.snapshot.chunk.size:8096
scan.snapshot.fetch.size:1024
等晚上把scan.snapshot.fetch.size 改成512 才观察下吧 但我觉得跟这个没啥关系,微批写的。DorisBatchSink

展开
收起
小小鹿鹿鹿 2024-05-20 20:55:46 23 0
1 条回答
写回答
取消 提交回答
  • 减少点并行度可以,scan.snapshot.fetch.size 读取表快照时每次读取数据的最大条数。scan.snapshot.fetch.size 你调小点。目前确实没有限速的功能,需要 Flink 来支持,Flink 社区目前也没有限速功能。此回答来自钉群Flink CDC 社区 。

    2024-05-20 23:03:43
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像