开发者社区> 问答> 正文

HDFS不适合的应用类型有哪些?

HDFS不适合的应用类型有哪些?

展开
收起
真的很搞笑 2021-12-05 23:18:49 534 0
1 条回答
写回答
取消 提交回答
  • 1) 低延时的数据访问 对延时要求在毫秒级别的应用,不适合采用HDFS。HDFS是为高吞吐数据传输设计的,因此可能牺牲延时HBase更适合低延时的数据访问。

    2)大量小文件 文件的元数据(如目录结构,文件block的节点列表,block-node mapping)保存在NameNode的内存中, 整个文件系统的文件数量会受限于NameNode的内存大小。 经验而言,一个文件/目录/文件块一般占有150字节的元数据内存空间。如果有100万个文件,每个文件占用1个文件块,则需要大约300M的内存。因此十亿级别的文件数量在现有商用机器上难以支持。

    3)多方读写,需要任意的文件修改 HDFS采用追加(append-only)的方式写入数据。不支持文件任意offset的修改。不支持多个写入器(writer)。

    2021-12-05 23:19:06
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
What’s new in Hadoop Common and HDFS 立即下载
HDFS optimization for HBase at XiaoMi 立即下载