开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我用cdc同步大表到kafka 用了2.3的切块 在数据fetch的时候报jvm堆内存溢出

我用cdc同步大表到kafka 用了2.3的切块 在数据fetch的时候报jvm堆内存溢出 里面是记录什么了吗? 真实数据其实会写到db history topic里吧?

展开
收起
爱喝咖啡嘿 2022-12-20 14:03:12 258 0
1 条回答
写回答
取消 提交回答
  • 1、检查是否存在大对象的分配,最有可能的是大数组分配 2、通过jmap命令,把堆内存dump下来,使用mat工具分析一下,检查是否存在内存泄露的问题 3、如果没有找到明显的内存泄露,使用 -Xmx 加大堆内存 4、还有一点容易被忽略,检查是否有大量的自定义的 Finalizable 对象,也有可能是框架内部提供的,考虑其存在的必要性

    2022-12-26 07:57:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载