开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问hadoop-3.3.2/datas/nm-local-dir/usercache/admin/

请问hadoop-3.3.2/datas/nm-local-dir/usercache/admin/appcache/application 下文件太多导致磁盘满上就要满了,请问如何做清理呢? 有flink-rpc-akka_.jar 、blobStore-、rokcksdb-lib-* 这些文件。

展开
收起
游客3oewgrzrf6o5c 2022-06-28 17:51:26 516 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,阿里云Hadoop的DataNode节点上,每个应用程序在运行期间都会在本地磁盘上创建临时文件,这些文件保存在 /hadoop-3.3.2/datas/nm-local-dir/usercache/<username>/appcache/application_<appId>/ 目录下。如果这些临时文件过多,可能会导致磁盘空间不足,影响Hadoop的正常运行。针对这个问题,可以考虑以下几种清理方法:

    1. 手动清理临时文件:您可以手动清理 /hadoop-3.3.2/datas/nm-local-dir/usercache/<username>/appcache/application_<appId>/ 目录下的临时文件。如果您清理的是正在运行的应用程序的临时文件,可能会导致这个应用程序出现异常,建议您谨慎操作。如果您清理的是已经终止的应用程序的临时文件,不会对系统产生影响。

    2. 配置Hadoop的垃圾回收机制:您可以通过配置Hadoop的垃圾回收机制,自动清理已经终止的应用程序的临时文件。具体来说,您可以将 mapreduce.job.complete.cancel.delegation.tokens 属性设置为 false,这样Hadoop会在任务完成后,自动清理临时文件。

    3. 使用磁盘清理工具:如果您的临时文件过多,可以考虑使用磁盘清理工具进行清理。例如,您可以使用Linux系统下的 find 命令查找并删除指定目录下的文件,或者使用第三方工具,例如 BleachBit 进行磁盘清理。

    需要注意的是,在清理临时文件时,建议您谨慎操作,避免误删除正在运行的应用程序的临时文件,导致应用程序出现异常。

    2023-07-23 13:01:37
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载