AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

我用cdc同步大表到kafka 用了2.3的切块 在数据fetch的时候报jvm堆内存溢出

我用cdc同步大表到kafka 用了2.3的切块 在数据fetch的时候报jvm堆内存溢出 里面是记录什么了吗？ 真实数据其实会写到db history topic里吧？

展开
收起
爱喝咖啡嘿 2022-12-20 14:03:12 310 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • AI研究者手札
    资深技术专家。主攻技术开发，擅长分享、写文、测评。

    1、检查是否存在大对象的分配，最有可能的是大数组分配 2、通过jmap命令，把堆内存dump下来，使用mat工具分析一下，检查是否存在内存泄露的问题 3、如果没有找到明显的内存泄露，使用 -Xmx 加大堆内存 4、还有一点容易被忽略，检查是否有大量的自定义的 Finalizable 对象，也有可能是框架内部提供的，考虑其存在的必要性

    2022-12-26 07:57:38
    赞同 展开评论
问答分类：
消息中间件 Java Kafka 云消息队列 Kafka 版
问答标签：
JVM内存 同步内存 云消息队列 Kafka 版数据 云消息队列 Kafka 版内存 云消息队列 Kafka 版数据内存
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
如何修改EMR集群impala的JVM堆内存大小
144
1
0
在Flink CDC中，发到kafka下游再处理数据还是用算子处理完直接写到目标库里面？
87
0
0
flink cdc datastream方式同步mysql数据到kafka，多分区怎么保证有序性？
126
1
0
Flink在使用ctas中，能否指定比如kafka的元信息不同步？
51
1
0
helm部署nacos如何调整jvm内存？
253
1
0
flink cdc 读mysql 写进kafka，在执行一段时间后，任务就一直出于初始化状态？
107
0
0
DataWorks在odps上有一个kafka同步到es的离线任务 任务是这么配置的 ？
74
1
0
在Flink CDC中，写到kafka不是顺序写，消费kafka不是顺序消费吗？
65
1
0
阿里云实时计算flink，cdc同步数据到kafka，cdas、ctas都失败，大家有遇到吗？
80
1
0
flinksql cdc 是不是只有从mysql同步到kafka 才能截取到这个字段？
98
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199212
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • Java 21 特性及示例
  • 探索 Elasticsearch 8：利用 Spring Boot 3 和 Spring Data Elasticsearch5
  • Spring Boot配置优化：Tomcat+数据库+缓存+日志，全场景教程
  • 性能优化与架构能力复盘报告
  • 从Tomcat 9.X到Tomcat 10. X以上

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • 在斗鱼，实时计算发展的历程如何？
  • flink-CDC-3.0 mysql to doris 数据同步任务 经常报错
  • flink怎么能够快速消费kafka数据，需要设置什么参数呢？
  • Flink CDC中，有哪位大佬有flink 版本和cdc版本的适配统计啊？
  • Flink CDC里用jdbc往达梦dm8推数据，老是显示字符被截断是咋回事？有人碰到过嘛？
  • Flink-CDC 文档网站地址是什么？
    • 展开全部
  • 日均百亿级日志处理：微博基于 Flink 的实时计算平台建设
  • Flink 实战：如何解决生产环境中的技术难题？
  • 从 Spark Streaming 到 Apache Flink：bilibili 实时平台的架构与实践
  • Flink CDC：新一代实时数据集成框架
  • Flink 基础详解：大数据处理的强大引擎
  • Flink CDC：基于 Apache Flink 的流式数据集成框架
  • 从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
  • Flink SQL 详解：流批一体处理的强大工具
  • Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
  • 淘宝闪购基于Flink&Paimon的Lakehouse生产实践：从实时数仓到湖仓一体化的演进之路
    • 展开全部
    还有其他疑问?
    咨询AI助理