《深入理解大数据:大数据处理与编程实践》一一第3章 大数据存储——分布式文件系统HDFS-阿里云开发者社区

开发者社区> 华章出版社> 正文
登录阅读全文

《深入理解大数据:大数据处理与编程实践》一一第3章 大数据存储——分布式文件系统HDFS

简介:

第3章 大数据存储——分布式文件系统HDFS

大数据处理面临的第一个问题是,如何有效存储规模巨大的数据?对于大数据处理应用来说,依靠集中式的物理服务器来保存数据是不现实的,容量也好,数据传输速度也好,都会成为瓶颈。要实现大数据的存储,需要使用几十台、几百台甚至更多的分布式服务器节点。为了统一管理这些节点上存储的数据,必须要使用一种特殊的文件系统——分布式文件系统。为了提供可扩展的大数据存储能力,Hadoop设计提供了一个分布式文件系统HDFS(Hadoop Distributed File System)。
本章首先简要介绍HDFS的基本特征、基本构架、工作过程,以及HDFS的可靠性设计和数据存储及访问方法,在此基础上进一步介绍HDFS的文件操作命令和HDFS的编程接口和编程示例。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: