dfs.datanode.du.reserved 预留空间不生效的问题

简介: 生产环境(cdh5.5.1)遇到一个问题:已经设置 dfs.datanode.du.reserved预留空间为20G,但是磁盘仍然被写满了。当挂载磁盘作为datanode的存储空间,如果磁盘大小为2000G,使用df -h 显示:总磁盘大小2000G,使用1930G,剩余40G,就会发现:2000G -(1930G+40G)= 30G,还差了30G空间。

生产环境(cdh5.5.1)遇到一个问题:已经设置 dfs.datanode.du.reserved预留空间为20G,但是磁盘仍然被写满了。

当挂载磁盘作为datanode的存储空间,如果磁盘大小为2000G,

使用df -h 显示:总磁盘大小2000G,使用1930G,剩余40G,就会发现:2000G -(1930G+40G)= 30G,还差了30G空间。

就是因为这30G空间的问题导致你磁盘写满,如果你配置datanode hdfs-site.xml里的dfs.datanode.du.reserved小于30G的话,而我们设置的是20G,所以磁盘就被写满 了,预留空间就没有起到实际作用

[解决办法]

就是设置hadoop dfs.datanode.du.reserved的值 = 总磁盘大小 - (使用的空间 + 剩余空间 )+ 设置的预留空间。

比如: 
在上面的基础上你设置预留空间为20G,那么dfs.datanode.du.reserved就可以设置为: 
2000G -(1930G + 40G) + 20G = 50G。


终其DataNode代码,发现应该是这样:

  1. long getAvailable() throws IOException {  
  2.        long remaining = getCapacity()-getDfsUsed();  
  3. -      long available = usage.getAvailable();  
  4. +      long available = usage.getAvailable() - reserved;  
  5.        if (remaining>available) {  
  6.          remaining = available;  
  7.        }  
  8.       return (remaining > 0) ? remaining : 0;  
  9. }

目录
相关文章
|
存储 分布式计算 Hadoop
HDFS 修改副本数&fsck命令
HDFS 修改副本数&fsck命令
607 0
|
7月前
|
存储 分布式计算 Hadoop
hadoop节点HDFS数据块(Block)
【5月更文挑战第18天】
153 1
|
Java
hdfs 故障服务namenode 报错GC pool 'ConcurrentMarkSweep' had collection(s): count=1 time=
hdfs生产故障 GC pool 'ConcurrentMarkSweep' had collection(s): count=1 time=
1998 0
|
运维 Java Shell
记一次df -Th与du -sh空间大小不一致磁盘爆满问题的处理过程
记一次df -Th与du -sh空间大小不一致磁盘爆满问题的处理过程
379 0
记一次df -Th与du -sh空间大小不一致磁盘爆满问题的处理过程
|
存储
HDFS设置BLOCK的目的
HDFS设置BLOCK的目的 在HDFS里面,data node上的块大小默认是64MB(或者是128MB或256MB) 问题: 为什么64MB(或128MB或256MB)是最优选择? 为什么不能远少于64MB(或128MB或256MB) (普通文件系统的数据块大小一般为4KB)减少硬盘寻道时间(disk seek time)
102 0
|
Linux
Centos: 磁盘空间分配,将home空间分配给root
Centos: 磁盘空间分配,将home空间分配给root
1143 0
Centos: 磁盘空间分配,将home空间分配给root
磁盘满了,为啥du却显示还有很大空间?
今天有个实习生问了我一个诡异的问题,“线下一台磁盘大小32G的开发机(虚拟机)打不出日志”,把追查过程和大家分享一下。
652 0
|
关系型数据库
asm 磁盘空间计算
asm 容量计算,Usable_file_MB 负数,asm 负数
1436 0
|
Oracle 关系型数据库 Linux
[20171206]最小数据文件.txt
[20171206]最小数据文件.txt --//曾经写过一篇关于[20150113]关于oracle的存储结构.txt的文章,链接http://blog.
1132 0