开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

实时计算 Flink版有人用pyflink吗,有遇到过内存泄漏吗?

实时计算 Flink版有人用pyflink吗,有遇到过内存泄漏吗?

展开
收起
真的很搞笑 2023-10-18 17:17:00 135 0
3 条回答
写回答
取消 提交回答
  • Flink确实支持Python,并从1.9.0版本开始增加了对Python的支持(PyFlink)。在最新的Flink 1.10中,PyFlink添加了对Python UDFs的支持。

    关于您提到的内存泄漏问题,这是一个在多种编程语言和框架中都可能遇到的问题。对于Flink来说,也存在已知的一些内存泄露问题,例如metaspace泄露问题,并且有些已经得到修复。具体的内存管理包括JVM进程总内存、Flink总内存、JVM堆外内存、JVM堆内存、托管内存、直接内存、JVM元空间以及JVM运行时开销等多个方面。

    针对可能出现的内存泄漏问题,有一些排查方法可供参考。首先,您可以使用工具如jstack或jmap来检查是否有此前任务的残留thread或object。另外,可以参考一些实际案例来进行问题定位。

    2023-10-21 17:53:18
    赞同 展开评论 打赏
  • 有内存增长不回收的情况,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-10-18 19:36:05
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    阿里云实时计算Flink版是阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统。它支持对海量实时数据的高效处理,同时兼容pyflink脚本。然而,关于您提到的内存泄漏问题,目前并未找到相关的信息或经验分享。

    一般来说,无论是哪种编程语言或数据处理引擎,都可能存在内存泄漏的问题。如果您在使用pyflink的过程中遇到了内存泄漏的情况,推荐您首先检查代码中是否存在不合理的内存管理操作,例如未及时释放不再使用的内存等。如果问题依然存在,那么可能需要进一步分析Flink运行时的日志,找出可能的内存泄漏点。

    2023-10-18 18:27:56
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载