云计算导论之分布式文件系统

简介: 文件系统是操作系统用来组织磁盘文件的方法和数据结构。

1. 概述

 1. 文件系统是操作系统用来组织磁盘文件的方法和数据结构。

 传统的文件系统指各种UNIX平台的文件系统,包括UFS等,它们管理本地的磁盘存储资源,提供文件到存储位置的映射,并抽象出一套文件访问接口供用户使用。通常包含的四类信息:超级块、Inode、文件内容、目录内容。

 2. 分布式文件系统定义:分布式文件系统是一个可以存储、管理和检索文件、目录和对象的系统,它通过网络连接不同的机器,提供文件共享的接口,可以实现对文件的远程访问和同步。

 特点:分布式文件系统具有可靠性、容错性和可扩展性等特点。它可以通过数据备份和恢复、节点复制和日志等技术,保证数据的安全性和可靠性。

 3. 实现分布式文件系统一般有两种方法:共享文件系统和共享磁盘。

 4. 常见的有:全局文件系统(GFS)、Hadoop分布式文件系统(HDFS)。

2. 基本架构

 1. 分布式文件系统的典型架构,其中重要的服务器包括:主控服务器、数据服务器和客户服务器。

 2. 主控服务器:负责整个文件系统的管理,包括命名空间的维护、数据服务器管理、服务调度等。

 主要的功能有:命名空间的维护、数据服务器管理、服务调度、主备容灾。

 3. 数据服务器:负责数据的存储和备份,包括数据本地存储、状态维护、副本管理等。

 主要的功能有:数据本地存储、状态维护、副本管理。

 4. 客户服务器:为用户提供文件读写、目录操作等APIs,处理用户请求并返回结果。

 主要的功能有:接口设计、缓存管理、错误处理和恢复

3. GFS和HDFS

 1. GFS集成了持续的监控、错误侦测、灾难冗余以及自动恢复的机制。一个文件块的大小是64M。绝大部分的大数据都是采用在文件尾部追加数据的方式。

 2. GFS特点:控制流和数据流的分离、降低master的负载、性能提高、在用户态下实现。

 3. HDFS的架构相对简单,它包括一个主节点(NameNode)和多个数据节点(DataNode),主节点负责管理和维护文件系统的元数据,数据节点则负责存储数据。

 4. HDFS默认的最基本的存储单位是64M的数据块,这个数据块可以理解和一般的文件里面的分块是一样的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。

 5. HDFS优点:处理超大文件;流式地访问数据;运行与廉价的商用机器集群。缺点:不适合低延迟数据访问;流式地访问数据;无法高效存储大量小文件;不支持多用户写入及任意修改文件。

 6. ZooKeeper是Hadoop 的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

 7. ZooKeeper扮演的角色:领导者、学习者(跟随者和观察者)。

4. 云存储

 1. 云存储是一种基于云计算技术的数据存储服务,通过网络将大量数据存储在远程的数据中心,用户可以随时随地通过互联网进行数据的访问和管理。

 2. 按部署方式分类:公有云存储、私有云存储、混合云存储。

 按服务模式分类:文件存储、块存储、对象存储。

 按数据归属权分类:个人云存储、企业云存储、块存储、文件存储、对象存储。

相关文章
|
1月前
|
存储 边缘计算 人工智能
云计算与分布式系统架构:驱动数字化时代的创新引擎
本文将探讨云计算与分布式系统架构在数字化时代中的重要性,介绍其基本概念和原理,并探讨其在推动技术创新、提升企业效率和满足用户需求方面的作用。同时,还将提出未来发展的趋势和挑战,为读者提供对云计算与分布式系统架构的深入理解。
|
1月前
|
存储 分布式计算 分布式数据库
【专栏】云计算与分布式系统架构在数字化时代的关键作用。云计算,凭借弹性、可扩展性和高可用性,提供便捷的计算环境
【4月更文挑战第27天】本文探讨了云计算与分布式系统架构在数字化时代的关键作用。云计算,凭借弹性、可扩展性和高可用性,提供便捷的计算环境;分布式系统架构则通过多计算机协同工作,实现任务并行和容错。两者相互依存,共同推动企业数字化转型、科技创新、公共服务升级及数字经济发展。虚拟化、分布式存储和计算、网络技术是其核心技术。未来,深化研究与应用这些技术将促进数字化时代的持续进步。
|
2天前
|
传感器 边缘计算 监控
边缘云作为一种分布式云计算架构,正在为多个行业和应用场景带来革命性的变化
边缘云应用于智能城市、工业物联网、零售、农业、AI、5G优化、制造、物流、医疗、交通和家居等领域,实现低延迟的数据处理、实时分析与优化。例如,智能交通利用边缘计算优化信号灯,减少拥堵;工业场景中,设备监控与预测性维护提升效率;在医疗中,实时监测患者数据支持远程诊断。此外,边缘云还助力零售业的个性化推荐、农业的精准作业和云游戏的高性能体验。
|
1月前
|
存储 缓存 固态存储
云计算基础-存储虚拟化(深信服aSAN分布式存储)
每秒钟的IOPS数,该指标主要用于评价小块IO性能,体现存储系统的IO延时能力和并发能力。业界一般默认IOPS指的是4K块大小的IO性能,该值越大说明性能越好。
80 1
|
1月前
|
人工智能 安全 大数据
云计算和分布式系统架构的未来趋势
云计算和分布式系统架构在过去几年中已经成为了科技行业的热门话题。这些技术正在改变着我们的生活和工作方式。本文将探讨云计算和分布式系统架构的未来趋势,以及它们对于科技行业和社会的影响。
|
1月前
|
存储 人工智能 物联网
云计算与分布式系统架构:未来技术驱动的创新之路
在当今数字化时代,云计算和分布式系统架构成为了企业和个人实现高效、可靠和灵活计算的关键。本文将探讨云计算与分布式系统架构的基本概念和原理,并介绍其在现代技术领域中的应用和未来发展趋势。
71 1
|
1月前
|
存储 分布式计算 大数据
【云计算与大数据技术】分布式计算、虚拟化技术、并行编程技术等技术讲解(超详细必看)
【云计算与大数据技术】分布式计算、虚拟化技术、并行编程技术等技术讲解(超详细必看)
459 1
|
1月前
|
分布式计算 并行计算 Hadoop
【云计算与大数据计算】分布式处理CPU多核、MPI并行计算、Hadoop、Spark的简介(超详细)
【云计算与大数据计算】分布式处理CPU多核、MPI并行计算、Hadoop、Spark的简介(超详细)
182 0
|
1月前
|
NoSQL 大数据 分布式数据库
【云计算与大数据技术】分布式数据库NoSQL中KV、列式、图、文档数据库的讲解(图文解释 超详细)
【云计算与大数据技术】分布式数据库NoSQL中KV、列式、图、文档数据库的讲解(图文解释 超详细)
116 0
|
1月前
|
存储 分布式计算 大数据
【云计算与大数据技术】分布式协同系统Chubby锁、ZooKeeper在HDFS中的使用讲解(图文解释 超详细)
【云计算与大数据技术】分布式协同系统Chubby锁、ZooKeeper在HDFS中的使用讲解(图文解释 超详细)
103 0