简述 HDFS 的系统架构,以及如何保证数据安全

本文涉及的产品
数据安全中心,免费版
简介: 简述 HDFS 的系统架构,以及如何保证数据安全

简述 HDFS 的系统架构:

HDFS 的体系框架是 Master/Slave 结构,一个典型的 HDFS 通常由单个 NameNode 和多个 DataNode 组成,但是为备份元数据,一般还有一个 secondary namenode。

如何保证数据安全:

(1)存储在 hdfs 系统上的文件,在文件路径上是一个文件,但其实文件内部会按 blocksize 被切分为 128m 的 block 存储在不同的结点上,同时 block 还存在副本文件,副本数默认为 3 个。

(2)副本存放策略一般是:如果请求方所在机器是一个 datanode 的话,那么第一个副本就直接存放在本地结点上,否则就在集群中随机选择一个 datanode,第二个副本放置在第一个副本的同一个机架但不同结点上,第三个副本放在不同机架不同结点上。

相关文章
|
5月前
|
存储 分布式计算 Hadoop
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)
418 0
|
13天前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
78 6
|
2月前
|
存储 机器学习/深度学习 分布式计算
HDFS数据安全与隐私保护
HDFS数据安全与隐私保护
|
3月前
|
存储 监控 安全
OSS如何保证数据安全?
【7月更文挑战第19天】OSS如何保证数据安全?
218 7
|
存储 分布式计算 安全
分布式文件系统(HDFS产生背景及定义 HDFS优缺点 HDFS体系架构 HDFS文件块大小)
分布式文件系统(HDFS产生背景及定义 HDFS优缺点 HDFS体系架构 HDFS文件块大小)
239 0
|
5月前
|
存储 分布式计算 Hadoop
什么是HDFS?请解释其架构和工作原理。
什么是HDFS?请解释其架构和工作原理。
103 0
|
存储 SQL JSON
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
|
JSON 缓存 关系型数据库
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
|
存储 分布式计算 监控
HDFS 架构、组件【重要】
HDFS 架构、组件【重要】
120 0
|
12天前
|
缓存 监控 API
探索微服务架构中的API网关模式
【10月更文挑战第5天】随着微服务架构的兴起,企业纷纷采用这一模式构建复杂应用。在这种架构下,应用被拆分成若干小型、独立的服务,每个服务围绕特定业务功能构建并通过HTTP协议协作。随着服务数量增加,统一管理这些服务间的交互变得至关重要。API网关作为微服务架构的关键组件,承担起路由请求、聚合数据、处理认证与授权等功能。本文通过一个在线零售平台的具体案例,探讨API网关的优势及其实现细节,展示其在简化客户端集成、提升安全性和性能方面的关键作用。
45 2