# 大数据基础:NameNode与DataNode的区别

简介: # 大数据基础:HDFS(分布式文件系统)中,NameNode与DataNode的区别

大数据基础:HDFS(分布式文件系统)中,NameNode与DataNode的区别

概述

1、hsfs集群有两类节点(管理节点-工作节点)的运行模式,即一个namenode与多个datanode。
2、客户端(client)代表用户通过与namenode和datanode交互来访问整个系统,客户端提供一个类似于posix(可以移植操作系统界面)的文件系统接口,因此用户不需要知道datanode与namenode也可以实现其功能。

DataNode

datanode是文件系统的工作节点,它根据需求储存或者检索数据块(受客户端与namenode调度),并定期向namenode发送datanode储存的数据块列表(心跳信息)。负责为客户端提供读写服务。

NameNode

namenode负责储存文件的元数据.(文件分块信息,储存节点信息,副本储存等信息)。

1.namenode管理文件系统的命名空间,它维护者文件系统树及整棵树所有的文件和目录,这些信息以两个文件形式永久保存在本地磁盘(命名空间经镜像文件和编辑日志文件),镜像文件为:fsimage(用于维护hdfs中所有文件和文件夹的元数据),edits:编辑日志文件(用于记录所有针对文件的创建,删除,修改等操作)

2.namenode也记录着每个文件中各个快的数据节点信息,但它并不永久保存数据节点的位置信息,因为这些信息在系统启动时根据数据节点信息重建。

3.namenode会定时接受datanode的心跳信息,如果发现datanode节点有故障,就会重新为失败的任务分配节点。

4.负责接收client(客户端)的请求,提供metadata数据信息。

5。namenode的启动:以只读方式启动,加载fsimage文件到内存,edits文件会定期合并,形成新的fsimage文件用来替代旧的fsimage文件。

6.没有namenode,文件系统无法使用,如果namenode服务器宕机,文件系统上的所有文件将丢失,因为我们不知道如何根据datanode快重新拼接文件。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
7月前
|
SQL 分布式计算 大数据
MAXCOMPUTE和ODPS的区别是什么?
MAXCOMPUTE和ODPS的区别是什么?
273 1
|
机器学习/深度学习 存储 人工智能
一文读懂云计算、大数据和AI间的关系和区别
相信大家都听说过云计算、大数据和人工智能,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、大数据的时候会提人工智能、谈人工智能的时候会提云计算……三者之间相辅相成又不可分割,那么这三者之间到底是怎么一回事呢,今天小编就来讲讲。
1737 0
一文读懂云计算、大数据和AI间的关系和区别
|
7月前
|
分布式计算 安全 大数据
MAXCOMPUTE和ODPS的区别2
MAXCOMPUTE和ODPS的区别2
90 1
|
9月前
|
大数据 关系型数据库 数据处理
传统数仓和大数据数仓的区别是什么?
传统数仓和大数据数仓的区别是什么?
|
11月前
|
SQL 存储 传感器
大数据大比拼:Hive vs HBase,你知道两者的区别和适用场景吗?
大数据大比拼:Hive vs HBase,你知道两者的区别和适用场景吗?
827 0
|
存储 分布式计算 大数据
数据仓库(02)数仓、大数据与传统数据库的区别
传统数据库是存储根据范式建模的关系型数据,主要用于OLTP(on-line transaction processing)翻译为联机事务处理的软件。大数据是根据map redurce范式构建的出局处理,存储的软件,主要用于OLAP是做分析处理。大数据和传统数据库,还有一个更大的区别在于,处理的数据量以及计算量的大小,当传统数据库,无法在人可以接受的短时间内计算出结果,那这个数据就叫大数据,需要使用到大数据技术处理。而数据仓库本质上是一种数据的处理方式,而不是一种基础软件,它可以依赖于传统数据库,也可以依赖大数据技术去构建。
305 0
数据仓库(02)数仓、大数据与传统数据库的区别
|
存储 数据采集 分布式计算
大数据热是华而不实吗?大数据和小数据有什么本质区别
大数据热是华而不实吗?大数据和小数据有什么本质区别
大数据热是华而不实吗?大数据和小数据有什么本质区别
|
存储 大数据 云计算
云计算和大数据以及两者的区别
云计算大数据是现在比较热门的词,其具体应用领域也比较多,很多人对于云计算和大数据二者分不清,什么是云计算大数据?大数据和云计算有什么区别?大家可以看看下文来详细了解下。
880 21
云计算和大数据以及两者的区别

热门文章

最新文章