开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

问下各位大佬儿, cdc(2.2.1)全量同步某张表, 表中大约有300W数据, 本地测试,jvm

问下各位大佬儿, cdc(2.2.1)全量同步某张表, 表中大约有300W数据, 本地测试,jvm 给了4GB,还是OOM, 是我内存给小了吗?

展开
收起
十一0204 2023-04-10 21:28:11 204 0
2 条回答
写回答
取消 提交回答
  • 意中人就是我呀!

    jm和tm分别给,测试数据不要搞这么大。 此答案整理自钉群“Flink CDC 社区”

    2023-04-12 08:46:56
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。

    以下是一些可能会导致 OOM 错误的常见原因:

    1. 过于频繁或过于复杂的 GC(垃圾回收)操作,导致程序在执行期间无法使用内存。

    2. 内存泄漏,导致内存使用率不断上升。

    3. 过多的对象被创建和存储在内存中,导致内存使用率快速上升。

    4. JVM 配置不正确,导致无法使用所有可用内存。

    如果你确定内存大小正确,可以尝试执行以下操作:

    1. 分析堆转储文件,查找内存泄漏。

    2. 分析 GC 日志,优化 GC 参数。

    3. 确定 JVM 配置是否正确,是否使用了正确的内存大小、垃圾回收器、线程数等。

    4. 确认同步数据是否存在特殊情况(例如大量重复数据),是否可以分批次同步,减小内存压力。

    5. 考虑使用更高效的算法或数据结构来减小内存使用率。

    2023-04-11 08:54:33
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
移动互联网测试到质量的转变 立即下载
给ITer的技术实战进阶课-阿里CIO学院独家教材(四) 立即下载
F2etest — 多浏览器兼容性测试整体解决方案 立即下载