Flink CDC这个问题要怎么处理啊?

Flink CDC中用mysql-cdc 2.4.1版本的streamApi正则同步分库的一个表到kafka,有50个库里面,最大的一张表3千5百万左右。一共有9亿的数据,同步的时候总是提示mysql连接超时,我已经设置了cdc的connect.timeout=3600秒,但是过了几分钟就会提示这个超时. 目前还设置了,connection.poll.size=200,chunkSize设置的是60万。这个问题要怎么处理啊?image.png

展开
收起
真的很搞笑 2023-11-16 07:43:12 98 分享 版权
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据你的描述,这可能是由以下几个因素引起的:

    1. 数据量过大:如果你有大量的数据需要同步,那么可能需要更多的时间来完成任务。你可以尝试增加Flink CDC的并发度,或者尝试将大表拆分为多个小表来进行同步。
    2. 网络问题:网络延迟也可能导致连接超时。你可以尝试检查网络连接是否稳定,或者尝试在不同的网络环境中进行测试。
    3. 数据库性能问题:如果你的数据库性能较差,那么可能需要更长的时间来处理查询请求。你可以尝试优化数据库的索引和存储引擎,或者增加数据库的硬件资源。
    4. Flink CDC的配置问题:你也可以尝试调整Flink CDC的其他参数,例如 connection.poll.interval.ms 或者 transaction.timeout.ms 等,来改善连接超时的情况。
    2023-11-17 15:05:57
    赞同 展开评论
  • chunksize太大大大了,此回答整理自钉群“Flink CDC 社区”

    2023-11-16 08:35:58
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理