阿里云
为了无法计算的价值
打开APP
阿里云APP内打开
学习中心> Hadoop 分布式文件系统 HDFS> 正文

Hadoop 分布式文件系统 HDFS

43课时 |
670人已学 |
免费
课程介绍
学习 HDFS产生背景及定义、 HDFS优缺点、 HDFS组成架构、 HDFS块的大小设置、 HDFS Shell命令(开发重点)。
 
 
 
 

HDFS优缺点

内容简介:

  • HDFS优点
  • HDFS缺点

 

  • 优点
  1. 高容错性
  • 数据自动保存多个副本。它通过增加副本的形式,提高容错性。

某一个副本丢失以后,可以自动恢复。

  1. 适合处理大数据
  • 数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据
  • 文件规模:能够处理百万规模以上的文件数量,数量相当之大。
  1. 可构建在廉价机器上,通过多副本机制,提高可靠性。

 

 

 

  • 缺点
  1. 不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。
  2. 无法高效的对大量小文件进行存储。
    • 存储大量小文件的话,它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的,因为NameNode的内存总是有限的;
    • 小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标。
  3. 不支持并发写入、文件随机修改。
    • 一个文件只能有一个写,不允许多个线程同时写;
    • 仅支持数据append(追加),不支持文件的随机修改。