HDFS当中写操作为什么这么慢呀？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
因为在写入数据的时候，需要在每一个data node上面都写入备份的副本文件。 假设有一个20 GB的文件需要写入，有3个data node，那么实际上是需要写入60 GB的文件。在写入的过程当中，有一个过程出问题，那么该文件就可能会写入失败，所以它的写入操作就比较费时间。写操作费时间的根本原因就在于读的时候可以并行读，那么就需要保证每一个data node上面都必须有副本文件，才能实现并行读取。数据之间不能存在不同步的情况，数据是一致的。
你好，我是AI助理
可以解答问题、推荐解决方案等
评论
全部评论 (0)