开发者社区> 致Great_VIP> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

大数据入门与实战-Hadoop核心HDFS

简介: 大数据入门与实战-Hadoop核心HDFS
+关注继续查看

课程链接:https://www.imooc.com/video/16287


Hadoop简介


Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

详情见:Hadoop基本介绍


一、 HDFS概念及优缺点


  1. 应用场景与特点
    • 普通的成百上千的机器
    • 按TB甚至PB为单位的大量的数据
    • 简单便捷的文件获取


  1. HDFS概念
    数据块是抽象块而非整个文件作为存储单元,默认大小为64MB,一般设置为128M,备份x3

20.png

NameNode 管理文件系统的命名空间,存放文件元数据,维护着文件系统的所有文件和目录,文件与数据快的反射,记录每个文件中各个块所在数据节点的信息


DataNode存储检索数据块,向NameNode更新所存储块的列表

  1. HDFS优点
    • 适合大文件存储,支持TB,PB级的数据存储
    • 可以构建在廉价的机器上,并有一定的容错和恢复机制
    • 支持流式数据访问,一次写入、多次读取最高效
  1. HDFS缺点
    • 不适合大量小文件存储
    • 不适合并发写入,不支持文件随机修改
    • 不支持随机读等低延时的访问方式


二、HDFS写流程与读流程


21.png


HDFS写流程:(1)客户端向NameNode发起写数据请求(2)分块写入DateNode节点,DataNode自动完成副本备份(3)DataNode向NameNode汇报存储完成,NameNode通知客户端


22.png


HDFS读流程:(1)客户端向NameNode发起读数据请求(2)NameNode找出距离最近的DataNode节点信息(3)客户端从DataNode分块下载文件


三、Shell命令操作HDFS


23.png


将home下的mk.txt上传到hdfs


24.png


四 、Python程序操作HDFS


hdfs3:http://hdfs3.readthedocs.io/en/latest/


25.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Spark 入门_读取 HDFS 上的文件|学习笔记
快速学习 Spark 入门_读取 HDFS 上的文件
0 0
大数据入门系列 5:全网最全,Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
大数据入门系列 5:全网最全,Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
0 0
【Hadoop生态】HDFS入门,看完就懂
HDFS的入门,一片就够了,有实操,有理论
0 0
浅显易懂入门大数据系列:一、HDFS(超详细)
浅显易懂入门大数据系列:一、HDFS(超详细)
0 0
大数据入门-五分钟读懂HDFS
大数据入门-五分钟读懂HDFS
0 0
大数据入门与实战-HDFS的常用操作
大数据入门与实战-HDFS的常用操作
0 0
hadoop hdfs、yarn 群起脚本
hadoop hdfs、yarn 群起脚本
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
海量数据分布式存储——Apache HDFS之最新进展
立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
立即下载
海量结构化和非结构化大数据Hadoop集群规划
立即下载