开发者社区 问答 正文

E-MapReduce的HDFS客户端执行命令时报出OutOfMemoryError错误如何处理

已解决

E-MapReduce的HDFS客户端执行命令时报出OutOfMemoryError错误如何处理

展开
收起
阿里云服务支持 2022-12-13 15:36:25 372 分享 版权
1 条回答
写回答
取消 提交回答
  • 官方回答

    可能的原因:

    HDFS客户端程序默认的内存设置过低,实际需要的内存超出了设置的内存导致内存不足而退出。如执行查询目录命令,HDFS系统待查询的目录包含的文件过多,HDFS客户端维护命令查询需要大量内存对目录进行缓存,需要的内存不足将导致OutOfMemoryError错误。

    解决方案:

    使用HDFS客户端之前,需要在HADOOP_CLIENT_OPTS更新"-Xmx" GC参数。在命令中调整参数,减少HDFS维护客户端运行命令时所需的内存。当执行hdfs dfs -ls /user///*/*命令时上报OutOfMemoryError,可以执行类似的命令来获取目录。例如:hdfs dfs -ls -R /user。

    2022-12-13 15:39:02
    赞同 展开评论