请问hadoop-3.3.2/datas/nm-local-dir/usercache/admin/appcache/application 下文件太多导致磁盘满上就要满了,请问如何做清理呢? 有flink-rpc-akka_.jar 、blobStore-、rokcksdb-lib-* 这些文件。
楼主你好,阿里云Hadoop的DataNode节点上,每个应用程序在运行期间都会在本地磁盘上创建临时文件,这些文件保存在 /hadoop-3.3.2/datas/nm-local-dir/usercache/<username>/appcache/application_<appId>/
目录下。如果这些临时文件过多,可能会导致磁盘空间不足,影响Hadoop的正常运行。针对这个问题,可以考虑以下几种清理方法:
手动清理临时文件:您可以手动清理 /hadoop-3.3.2/datas/nm-local-dir/usercache/<username>/appcache/application_<appId>/
目录下的临时文件。如果您清理的是正在运行的应用程序的临时文件,可能会导致这个应用程序出现异常,建议您谨慎操作。如果您清理的是已经终止的应用程序的临时文件,不会对系统产生影响。
配置Hadoop的垃圾回收机制:您可以通过配置Hadoop的垃圾回收机制,自动清理已经终止的应用程序的临时文件。具体来说,您可以将 mapreduce.job.complete.cancel.delegation.tokens
属性设置为 false
,这样Hadoop会在任务完成后,自动清理临时文件。
使用磁盘清理工具:如果您的临时文件过多,可以考虑使用磁盘清理工具进行清理。例如,您可以使用Linux系统下的 find
命令查找并删除指定目录下的文件,或者使用第三方工具,例如 BleachBit
进行磁盘清理。
需要注意的是,在清理临时文件时,建议您谨慎操作,避免误删除正在运行的应用程序的临时文件,导致应用程序出现异常。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。