开发者社区> 问答> 正文

HDFS当中写操作为什么这么慢呀?

已解决

HDFS当中写操作为什么这么慢呀?

展开
收起
wenti 2022-11-03 21:27:35 748 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    因为在写入数据的时候,需要在每一个data node上面都写入备份的副本文件。 假设有一个20 GB的文件需要写入,有3个data node,那么实际上是需要写入60 GB的文件。在写入的过程当中,有一个过程出问题,那么该文件就可能会写入失败,所以它的写入操作就比较费时间。写操作费时间的根本原因就在于读的时候可以并行读,那么就需要保证每一个data node上面都必须有副本文件,才能实现并行读取。数据之间不能存在不同步的情况,数据是一致的。

    2022-11-03 21:47:45
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
+ 订阅
技术图谱:由专家组参与技术图谱的绘制与编写,知识与实践的结合让开发者们掌握学习路线与逻辑,快速提升技能 电子书:电子书由阿里内外专家打造,供开发者们下载学习,更与课程相结合,使用户更易理解掌握课程内容 训练营:学习训练营 深入浅出,专家授课,带领开发者们快速上云 精品课程:汇集知识碎片,解决技术难题,体系化学习场景,深入浅出,易于理解 技能自测:提供免费测试,摸底自查 体验实验室:学完即练,云资源免费使用
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
HBase 数据备份与恢复 立即下载
HDFS optimization for HBase at XiaoMi 立即下载