开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC读mysqlbinlog日志会导致mysql的内存一直缓慢上涨 ,怎么解决?

Flink CDC读mysqlbinlog日志会导致mysql的内存一直缓慢上涨 ,这个问题怎么解决?建立了2个cdc的链接,我测试的时候只开了一个 但是mysql端内存还是一直涨 虽然涨的很慢。两张表数据量不大 单张表都不过百万 增量可能一天才几万而已。

展开
收起
十一0204 2023-07-19 15:50:14 255 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    如果您使用 Flink CDC 读取 MySQL binlog 日志时,发现 MySQL 的内存一直缓慢上涨,可能是由于以下几个原因:

    内存泄漏:Flink CDC 在读取 MySQL binlog 日志时,可能存在内存泄漏问题。这通常是由于 Flink CDC 的代码出现了内存泄漏或者对象未被及时释放导致的。建议您检查 Flink CDC 的代码和日志,确认是否存在内存泄漏问题。

    数据流量过大:如果 MySQL binlog 日志的数据流量过大,就可能导致 MySQL 的内存缓慢上涨。这通常是由于 MySQL 实例的配置不合理或者 Flink CDC 的并发度设置不合理导致的。建议您检查 MySQL 和 Flink CDC 的配置,调整相应的参数。

    内存不足:如果 MySQL 实例的内存不足,就可能导致内存缓慢上涨。这通常是由于 MySQL 实例的数据量过大或者其他应用程序占用了 MySQL 实例的内存导致的。建议您检查 MySQL 实例的内存使用情况,并增加内存容量。

    数据库负载过高:如果 MySQL 实例的负载过高,就可能导致内存缓慢上涨。这通常是由于大量的写操作导致的,例如插入、更新、删除等。建议您检查数据库的负载情况,并进行相应的优化,例如增加硬件资源、优化 SQL 语句等。

    2023-07-29 21:22:36
    赞同 展开评论 打赏
  • 意中人就是我呀!

    能把cdc停止了,观察看看一天的mysql的内存增长量。此回答整理至钉群“Flink CDC 社区”。

    2023-07-19 17:20:20
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Python第四讲——使用IPython/Jupyter Notebook与日志服务玩转超大规模数据分析与可视化 立即下载
    大规模日志数据平台架构面临的问题与挑战 立即下载
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载

    相关镜像