开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinkcdc mysqlcdc正则匹配多表同步的时候,消费慢,有什么操作啊?

mysqlcdc正则匹配多表同步的时候,消费慢,除了加快poll时间和max.batch等参数。还有什么操作啊,-Dconnection.pool.size=10 -Dpoll.interval.ms=500 -Dmax.batch.size=6144 -Dmax.queue.size=8192 加了这个连接池,但是dba那边看到还是多线程锁住了binlog。然后消费的时候太慢,binlog被刷了。大概是延迟了6个小时。我们是日志数据。一天上亿 有什么思路去排查慢的地方吗?我开启了debug打印除了debezium的拉取日志才看到了当前拉到哪个binlog

展开
收起
防火防爆 2024-08-26 15:51:45 35 0
1 条回答
写回答
取消 提交回答
  • 把日志数据打到kafka 此回答整理自钉钉群“Flink CDC 社区 ① 群”

    2024-08-29 10:28:27
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载