简述 HDFS 的系统架构,以及如何保证数据安全

本文涉及的产品
数据安全中心,免费版
简介: 简述 HDFS 的系统架构,以及如何保证数据安全

简述 HDFS 的系统架构:

HDFS 的体系框架是 Master/Slave 结构,一个典型的 HDFS 通常由单个 NameNode 和多个 DataNode 组成,但是为备份元数据,一般还有一个 secondary namenode。

如何保证数据安全:

(1)存储在 hdfs 系统上的文件,在文件路径上是一个文件,但其实文件内部会按 blocksize 被切分为 128m 的 block 存储在不同的结点上,同时 block 还存在副本文件,副本数默认为 3 个。

(2)副本存放策略一般是:如果请求方所在机器是一个 datanode 的话,那么第一个副本就直接存放在本地结点上,否则就在集群中随机选择一个 datanode,第二个副本放置在第一个副本的同一个机架但不同结点上,第三个副本放在不同机架不同结点上。

相关文章
|
18天前
|
存储 数据采集 弹性计算
Codota的存储架构通过多种方式保障数据安全
Codota的存储架构通过多种方式保障数据安全
25 4
|
7月前
|
存储 分布式计算 Hadoop
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)
488 0
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
177 6
|
29天前
|
存储 缓存 分布式计算
【赵渝强老师】基于RBF的HDFS联邦架构
最新版Hadoop实现了基于Router的联盟架构,增强了集群管理能力。Router将挂载表从客户端中分离,解决了ViewFS的问题。RBF架构包括Router和State Store两个模块,其中Router作为代理服务,负责解析ViewFS并转发请求至正确子集群,State Store则维护子集群的状态和挂载表信息。
|
29天前
|
存储 分布式计算 负载均衡
【赵渝强老师】基于ViewFS的HDFS联邦架构
本文介绍了HDFS联盟(Federation)的概念及其在大数据存储中的应用。HDFS联盟通过允许多个NameNode管理不同的命名空间,实现了负载均衡和NameNode的水平扩展。文章还详细解释了基于ViewFS的联盟架构,以及该方案的局限性。附带的视频进一步讲解了相关概念。
|
4月前
|
存储 机器学习/深度学习 分布式计算
HDFS数据安全与隐私保护
HDFS数据安全与隐私保护
|
5月前
|
存储 监控 安全
OSS如何保证数据安全?
【7月更文挑战第19天】OSS如何保证数据安全?
286 7
|
存储 分布式计算 安全
分布式文件系统(HDFS产生背景及定义 HDFS优缺点 HDFS体系架构 HDFS文件块大小)
分布式文件系统(HDFS产生背景及定义 HDFS优缺点 HDFS体系架构 HDFS文件块大小)
256 0
|
7月前
|
存储 分布式计算 Hadoop
什么是HDFS?请解释其架构和工作原理。
什么是HDFS?请解释其架构和工作原理。
132 0
|
存储 SQL JSON
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)