HDFS清理坏块

简介:

报错

Failed with exception java.io.IOException:org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1921057509-192.168.57.129-1517160177567:blk_1073741930_1106 file=/user/hive/warehouse/db_hive.db/student/student.txt
Time taken: 0.104 seconds
hive> eixt;
NoViableAltException(26@[])

700

image.png

  • hdfs检测
    检测命令:bin/hdfs fsck /


    700
  • 清理坏块
    命令:bin/hdfs fsck / -delete
    命令说明:将丢失的块全部删除
  • 检测
    bin/hdfs fsck /


    700

    health

  • hive测试


    700

    success

目录
相关文章
|
5月前
|
存储 分布式计算 Hadoop
HDFS 修改副本数&fsck命令
HDFS 修改副本数&fsck命令
235 0
|
10月前
|
存储 机器学习/深度学习 缓存
HDFS的元数据和数据块管理
介绍Hadoop文件系统(HDFS)的元数据和数据块管理
271 0
|
容灾
HDFS文件系统数据备份
HDFS快照是一个只读的基于时间点文件系统拷贝。快照可以是整个文件系统的 也可以是一部分。常用来作为数据备份,防止用户错误和容灾快照功能。 HDFS实现功能: Snapshot 创建的时间 复杂度为O(1),但是不包括INode 的寻找时间 只有...
3143 0
|
存储 机器学习/深度学习 分布式计算
如何从根源上解决 HDFS 小文件问题
我们知道,HDFS 被设计成存储大规模的数据集,我们可以在 HDFS 上存储 TB 甚至 PB 级别的海量数据。而这些数据的元数据(比如文件由哪些块组成、这些块分别存储在哪些节点上)全部都是由 NameNode 节点维护,为了达到高效的访问, NameNode 在启动的时候会将这些元数据全部加载到内存中。
|
分布式计算 Hadoop 分布式数据库

热门文章

最新文章

相关实验场景

更多