# 大数据基础:NameNode与DataNode的区别

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: # 大数据基础:HDFS(分布式文件系统)中,NameNode与DataNode的区别

大数据基础:HDFS(分布式文件系统)中,NameNode与DataNode的区别

概述

1、hsfs集群有两类节点(管理节点-工作节点)的运行模式,即一个namenode与多个datanode。
2、客户端(client)代表用户通过与namenode和datanode交互来访问整个系统,客户端提供一个类似于posix(可以移植操作系统界面)的文件系统接口,因此用户不需要知道datanode与namenode也可以实现其功能。

DataNode

datanode是文件系统的工作节点,它根据需求储存或者检索数据块(受客户端与namenode调度),并定期向namenode发送datanode储存的数据块列表(心跳信息)。负责为客户端提供读写服务。

NameNode

namenode负责储存文件的元数据.(文件分块信息,储存节点信息,副本储存等信息)。

1.namenode管理文件系统的命名空间,它维护者文件系统树及整棵树所有的文件和目录,这些信息以两个文件形式永久保存在本地磁盘(命名空间经镜像文件和编辑日志文件),镜像文件为:fsimage(用于维护hdfs中所有文件和文件夹的元数据),edits:编辑日志文件(用于记录所有针对文件的创建,删除,修改等操作)

2.namenode也记录着每个文件中各个快的数据节点信息,但它并不永久保存数据节点的位置信息,因为这些信息在系统启动时根据数据节点信息重建。

3.namenode会定时接受datanode的心跳信息,如果发现datanode节点有故障,就会重新为失败的任务分配节点。

4.负责接收client(客户端)的请求,提供metadata数据信息。

5。namenode的启动:以只读方式启动,加载fsimage文件到内存,edits文件会定期合并,形成新的fsimage文件用来替代旧的fsimage文件。

6.没有namenode,文件系统无法使用,如果namenode服务器宕机,文件系统上的所有文件将丢失,因为我们不知道如何根据datanode快重新拼接文件。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
SQL 分布式计算 大数据
MAXCOMPUTE和ODPS的区别是什么?
MAXCOMPUTE和ODPS的区别是什么?
688 1
|
2月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
78 5
|
2月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
36 4
|
5月前
|
机器学习/深度学习 分布式计算 运维
MaxCompute产品使用合集之生产环境的a表和开发环境的a表的主要区别是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
SQL 机器学习/深度学习 分布式计算
MaxCompute产品使用问题之按量付费标准版和闲时版有什么区别
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
MaxCompute产品使用问题之按量付费标准版和闲时版有什么区别
|
6月前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之odps.sql.mapper.split.size和odps.stage.mapper.split.size这两个参数的区别是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
分布式计算 安全 大数据
MAXCOMPUTE和ODPS的区别2
MAXCOMPUTE和ODPS的区别2
185 1
|
大数据 关系型数据库 数据处理
传统数仓和大数据数仓的区别是什么?
传统数仓和大数据数仓的区别是什么?
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的基本概念和架构的基本架构的DataNode
在 Hdfs 中,DataNode 是一个非常重要的组件,它负责存储数据块(Block)中的数据。
80 1
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的基本概念和架构的基本架构的NameNode
在 Hdfs 中,NameNode 是一个非常重要的组件,它负责管理整个集群的文件系统命名空间。
87 0