探索云世界
各位老师，请教个问题，flink 会在本地 /tmp 目录下产生大量flink-table-planner_*.jar 临时文件，目前看好像是保留最近10天的。这个保留能缩短吗？有些机器上这些文件加起来40多G， ， 看flink源码在这块会生成这个文件，但是这个清理机制不太了解，如果/tmp目录空间比较小的话，很容易导致没有空间 了。 请教各位这块有好的处理意见吗？ 看有的文章说，作业结束会自动清理，但是机器根本就没有几天前的任务，为什么这些文件还没有被清理呢？
写回答
在 Flink 中，/tmp 目录下可能会产生大量的 Flink 临时文件，包括 Flink 自身的临时文件和用户程序生成的临时文件。Flink 会使用临时文件来存储中间结果、状态和 Checkpoint 数据等信息，以便支持数据处理、故障恢复和状态管理等功能。临时文件的大小和数量取决于数据量、任务复杂度、处理逻辑和配置参数等因素，通常会随着时间的推移而增长。
针对您的问题，Flink 会在 /tmp 目录下保留最近 10 天的临时文件，这是 Flink 默认的配置。如果您希望缩短临时文件的保留时间，可以通过修改 Flink 的配置文件来实现。具体来说，可以设置以下参数：
pgsql
Copy
env.java.opts: "-Djava.io.tmpdir=/path/to/tmp"
state.backend.fs.checkpoint.cleanup.interval: 4
其中，env.java.opts 参数用于设置临时文件的存储路径，可以指定一个具有足够磁盘空间的路径。state.backend.fs.checkpoint.cleanup.interval 参数用于设置临时文件的保留时间，可以根据实际需求进行调整。例如，将保留时间设置为 4 小时，表示 Flink 会自动清理 4 小时前的临时文件。
对于 Flink 在本地 /tmp 目录下产生大量 flink-table-planner_*.jar 临时文件的问题，这些文件通常是由于 Flink 的 Table Planner 内部使用到的。默认情况下，Flink 会保留最近 10 天的临时文件，并在任务结束后自动清理它们。
如果你希望减少清理时间，可以通过配置来缩短保留临时文件的时间。你可以按照以下步骤进行操作：
1. 打开 Flink 的配置文件 flink-conf.yaml。 2. 寻找名为 state.backend.fs.checkpointdir 的属性，该属性指定了 Flink 检查点保存的目录。 3. 在同一级别下，添加以下属性来缩短保留临时文件的时间： state.checkpoints.cleanup.delay: <desired_delay> 其中 <desired_delay> 是一个时间段，表示保留临时文件的天数。你可以根据需要设置一个较短的值，例如 1d 表示保留 1 天的临时文件。
4. 保存并重新启动 Flink。
通过这个配置，Flink 将会在任务结束后，根据所设置的时间段自动删除过期的临时文件。
请注意，确保你设置的时间段足够长，以便在任务执行期间不会删除正在被使用的临时文件。同时，也要确保 /tmp 目录有足够的空间来存储临时文件，以避免出现磁盘空间不足的问题。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
