开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

各位老师,请教个问题,flink 会在本地 /tmp 目录下产生大量flink-临时文件,目前看好?

各位老师,请教个问题,flink 会在本地 /tmp 目录下产生大量flink-table-planner_*.jar 临时文件,目前看好像是保留最近10天的。这个保留能缩短吗?有些机器上这些文件加起来40多G, , 看flink源码在这块会生成这个文件,但是这个清理机制不太了解,如果/tmp目录空间比较小的话,很容易导致没有空间 了。 请教各位这块有好的处理意见吗? 看有的文章说,作业结束会自动清理,但是机器根本就没有几天前的任务,为什么这些文件还没有被清理呢?image.png image.png image.png

展开
收起
真的很搞笑 2023-07-03 14:58:52 1180 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink 中,/tmp 目录下可能会产生大量的 Flink 临时文件,包括 Flink 自身的临时文件和用户程序生成的临时文件。Flink 会使用临时文件来存储中间结果、状态和 Checkpoint 数据等信息,以便支持数据处理、故障恢复和状态管理等功能。临时文件的大小和数量取决于数据量、任务复杂度、处理逻辑和配置参数等因素,通常会随着时间的推移而增长。

    针对您的问题,Flink 会在 /tmp 目录下保留最近 10 天的临时文件,这是 Flink 默认的配置。如果您希望缩短临时文件的保留时间,可以通过修改 Flink 的配置文件来实现。具体来说,可以设置以下参数:

    pgsql
    Copy

    设置临时文件的存储路径

    env.java.opts: "-Djava.io.tmpdir=/path/to/tmp"

    设置临时文件的保留时间,单位为小时

    state.backend.fs.checkpoint.cleanup.interval: 4
    其中,env.java.opts 参数用于设置临时文件的存储路径,可以指定一个具有足够磁盘空间的路径。state.backend.fs.checkpoint.cleanup.interval 参数用于设置临时文件的保留时间,可以根据实际需求进行调整。例如,将保留时间设置为 4 小时,表示 Flink 会自动清理 4 小时前的临时文件。

    2023-07-30 09:39:47
    赞同 展开评论 打赏
  • 对于 Flink 在本地 /tmp 目录下产生大量 flink-table-planner_*.jar 临时文件的问题,这些文件通常是由于 Flink 的 Table Planner 内部使用到的。默认情况下,Flink 会保留最近 10 天的临时文件,并在任务结束后自动清理它们。

    如果你希望减少清理时间,可以通过配置来缩短保留临时文件的时间。你可以按照以下步骤进行操作:

    1. 打开 Flink 的配置文件 flink-conf.yaml。 2. 寻找名为 state.backend.fs.checkpointdir 的属性,该属性指定了 Flink 检查点保存的目录。 3. 在同一级别下,添加以下属性来缩短保留临时文件的时间:       state.checkpoints.cleanup.delay: <desired_delay>        其中 <desired_delay> 是一个时间段,表示保留临时文件的天数。你可以根据需要设置一个较短的值,例如 1d 表示保留 1 天的临时文件。

    4. 保存并重新启动 Flink。

    通过这个配置,Flink 将会在任务结束后,根据所设置的时间段自动删除过期的临时文件。

    请注意,确保你设置的时间段足够长,以便在任务执行期间不会删除正在被使用的临时文件。同时,也要确保 /tmp 目录有足够的空间来存储临时文件,以避免出现磁盘空间不足的问题。

    2023-07-30 09:38:25
    赞同 展开评论 打赏
  • 请问一下这个目录如何修改,您那里有答案了么?

    2023-07-29 14:35:06
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载