带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进(一)-阿里云开发者社区

开发者社区> 人民邮电出版社> 正文

带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进(一)

简介: 《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进…
+关注继续查看

云计算与大数据技术的发展,推动存储系统架构的持续演进,存储系统从最原始的基   于主机的架构逐步向网络化、虚拟化方向发展,存储系统更加关注性能、效率、灵活性、   安全性的提升,而这些特性都需要好的存储架构来满足。

粗略分类,存储架构的演进可以划分为以下两个阶段。

第一阶段:从离散化到集中化的演进(从DASSAN/NAS

互联网发展初期,存储需求相对简单,数据规模较小,存储系统架构以存储介质直连服务器(Direct-Attached   Storage,DAS)为主,存储介质直接挂载到服务器的总线上来提供数据访问服务,数据存储设备与服务器是一种“同生共死”的状态。

这种方式可以简洁地解决数据的存储需求,但也存在着较为明显的弊端。

◆  服务器之间的存储系统形成“孤岛,限制数据的共享访问;

◆  随着 CPU 处理能力逐步增强,SCSI连接通道会成为 I/O 的瓶颈,制约性能发挥;

◆  随着数据量增长,存储的安全性(备份 /恢复需求)、扩展性问题日益凸显。

基于以上症结,存储区域网络(StorageAreaNetwork,SAN)架构以及网络附属存储(NetworkAttached Storage,NAS)架构应运而生。

图 1-1展示了 DAS、SAN、NAS使用方式的差异。

 image.png

 

图 1-1OAS、SAN、NAS使用方式示意

 

 

SAN是一种专门为存储建立的独立于 TCP/IP 数据网络之外的专用网络,连接服务器和磁盘阵列设备,提供高速的数据传输,存储设备在服务器侧以块存储设备形式展现。目前常见的SAN有IP-SAN和FC-SAN(FC是指FibreChannel,光纤通道),其中IP-SAN

通过TCP协议转发SCSI  SmallComputerSystemInterface,小型计算机系统接口协议,

FC-SAN通过光纤通道协议转发SCSI协议(采用光纤接口,可以提供更高的带宽)。SAN的结构允许任何服务器连接到任何存储阵列,不管数据放置在哪里,服务器都可以直接存取所需的数据,这样的方式也便于系统的统一管理以及集中控制。成本与复杂性是SAN存储架构较为明显的缺陷。

NAS是连接在网络上具备数据存储功能的装置,因此也称为网络存储器,可提供跨平台文件共享功能。NAS 以数据为中心,将存储设备与服务器彻底分离,集中管理数据,存储设备在服务器侧以文件系统形式展现。NAS本身能够支持多种协议(如NFS、CIFS、FTP、HTTP等),而且能够支持各种操作系统。NAS数据存储适用于需要通过网络将文件数据传送到多台客户机上进行访问的用户,可以提供高效的文件共享服务。NAS的缺点也较为明显,扩展性受到设备大小的限制,且只能提供文件级访问,无法满足block级应用的使用需求。

第二阶段:从集中化到虚拟化的演进(从 SAN/NAS到分布式存储系统)。

SAN/NAS    解决方案的出现,实现了存储系统集中化建设及统一化管理的诉求,为规模化的数据中心基础设施建设提供了便捷途径。数据中心建设过程中不可避免地会出现采购规范多元化、设备型号多样化的情况,存储设备的兼容性问题、异构硬件的统一性问题会给企业的数据运维带来棘手的挑战。存储虚拟化技术应运而生,其核心思想是将资源的逻辑映像与物理存储分开,通过存储系统或存储服务内部功能进行抽象、隐藏和隔离,屏蔽不同物理设备的异构属性,实现数据服务与物理硬件的独立管理,如图1-2所示。

image.png

图 1-2 存储虚拟化示意

 

 

分布式存储系统是存储虚拟化技术的常见展现形式,分布式存储系统将数据分散存储在多台独立的设备上,并对外提供统一的存储服务。分布式存储系统具有高度的可伸缩性以及可扩展性,具有强大的数据访问性能,且对标准化硬件支持更好,允许大规模存储系统可以通过相对低廉的成本进行建设与运维。

抛开存储系统架构演进的萌芽阶段的方案(DAS存储方案,可以将存储系统架构分为传统的集中式存储系统以及新兴的分布式存储系统两大类,二者有较大的差异,表现在:

◆  传统的存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要;

◆  分布式存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负载,利用索引定位数据存储位置信息,不但提高了存储系统的可靠性、可用性以及数据存取效率,   还更易于扩展。


1.1.1   集中式存储系统

传统的存储也称为集中式存储,从概念上可以看出其架构具有集中性,也就是整个存储是集中在一个系统中的。但集中式存储并不一定只是一台单独的设备,也可以是集中在一套系统当中的多个设备,如图1-3中的 SAN 存储方案就使用了几个机柜来存放数据。

在集中式存储系统中包含很多组件,如机头(控制器)、磁盘阵列(JBOD、交换机以及管理设备等,如图 1-4所示。

集中式存储系统中最为核心的部件是机头,机头中的控制器实现了集中式存储系统中绝大多数的高级功能,如对磁盘的管理、将磁盘抽象化为存储资源池、划分逻辑单元号

(LogicalUnitNumber,LUN)给客户端使用等,通常机头中包含两个控制器,互为主备,避免硬件故障导致整个存储系统的不可用。机头中包含前端端口以及后端端口,前端端口   对外连接,提供存储服务,后端端口为机头连接更多的存储设备,形成更大的存储资源池,扩充存储系统的容量。

机头作为集中式存储系统的统一入口,其处理能力及扩展能力决定了系统整体的定位,通常集中式存储系统只能提供有限的存储系统纵向扩展(scaleup)1能力,很难满足存储系统横向扩展(scaleout)2的需求。通常情况下,可以通过scaleup 方式来扩展单台服务器的性能,满足业务的需求;一旦遇到服务器性能的瓶颈上限后,就需要转而求助于scaleout方式来进一步满足要求。

 

1scaleup(纵向扩展)指企业大型服务器通过增加处理器等运算资源进行升级以获得对应用性能的要求。

2scaleout(横向扩展)指企业可以根据需求增加不同的服务器应用,依靠多台服务器协同运算,并通过负载平衡以及容错等功能来提高运算能力及可靠度。

 

image.png

图1-3    集中式存储系统示例          

image.png                        

 图1-4集中式存储系统组件示意

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
超越最新视频压缩标准H.266,字节跳动编码新技术让视频缩小13%
联合视频专家组 JVET 官网显示,字节跳动设立在美国的研发团队于今年初发起了一项视频压缩技术提案,并命名为 DAM(Deep-filtering with Adaptive Model-selection)。相比 H.266/VVC 最新标准,DAM 能够为视频编码性能带来显著提升,亮度信号 Y 可实现 10.28% 的性能增益。两个色度信号 U 和 V 的性能增益也分别达到 28.22% 和 27.97%。这是业界公开的单个智能编码工具的最佳性能增益。
4 0
网易有道词典一个小更新,消除了你和全球一半人类的沟通障碍
完全不懂外语的你也可以拿起手机,和老外直接对话了:甚至不需要选择彼此说着的是什么语言。
5 0
【Go语言实战】(2) Gin+Vue 电子商城
目录 🎈1. 需求分析 1.1 数据获取 1.2 ⽤户操作 1.3 其他功能 1.4 拓展功能 1.5 开发环境 🎉2. 后端逻辑代码 2.1 Python - 爬虫 2.2 Golang - Gin 2.2.1 数据库部分 2.2.1 服务部分 ✨3. 前端核心代码 3.1 AXIOS前后端交互 🎊4. 部分页面展示 4.1 前台页面 4.2 后台管理 🎆5. 结语 🎇最后
4 0
【期末复习】计算机网络 谢希仁版(五)运输层(重点)
目录 运输层 1. 网络进程间的通信,端口号,套接字,在网络上唯一标识一个进程 2. UDP 与 TCP 2.1 端口 2.2 UDP 2.2.1 概述 2.2.2 首部格式 2.3 TCP 2.3.1 特点 3. TCP 报文段首部 4. TCP 连接建立,连接释放 4.1 TCP 连接建立,三次握手 4.2 TCP 连接释放,四次挥手 5. 可靠传输 5.1 工作原理 5.1.1 停止等待协议 5.1.2 连续ARQ协议 5.2 具体实现 5.2.1 以字节为单位的滑动窗口 5.2.2 超时重传时间的选择 5.2.3 选择确认SACK 6. TCP 窗口机制 7. TCP 的超时重传时间计
4 0
【期末复习】计算机网络 谢希仁版(六)应用层
目录 应用层 1. 网络应用程序的体系结构: 1.1 C/S 1.2 P2P 2. 域名结构 3. 域名解析过程 4. 万维网 4.1 URL 4.2 HTTP 4.3 静态页面 4.4 动态页面 4.5 活动页面 4.6 搜索引擎 5. 电子邮件系统主要协议,内容传送编码 5.1 SMTP 6. 各种网络应用相关协议及其端口号 7. socket 编程接口
3 0
表现优于ViT和DeiT,华为利用内外Transformer块构建新型视觉骨干模型TNT
华为诺亚实验室的研究者提出了一种新型视觉 Transformer 网络架构 Transformer in Transformer,它的表现优于谷歌的 ViT 和 Facebook 的 DeiT。论文提出了一个全新的 TNT 模块(Transformer iN Transformer),旨在通过内外两个 transformer 联合提取图像局部和全局特征。通过堆叠 TNT 模块,研究者搭建了全新的纯 Transformer 网络架构——TNT。值得注意的是,TNT 还暗合了 Geoffrey Hinton 最新提出的 part-whole hierarchies 思想。在 ImageNet 图像
4 0
高校学生在家实践ECS弹性云服务器
简单谈谈我这几周使用ECS弹性云服务器的体验感
4 0
大数据+AI能与碳中和扯上关系?看这家新能源企业如何操作
当 AI 进入落地期,认真思考如何打通大数据与 AI 应用的关联,才是企业眼前既现实、又关键的一大挑战。
1 0
【小白视角】大数据基础实践(三)HDFS的简单基本操作
HDFS的简单基本操作 1. 实验环境 2. HDFS 2.1 简介 2.2 体系结构 2.2.1 NameNode 2.2.2 SecondaryNameNode 2.2.3 DataNode 2.2.4 通讯协议 2.2.5 局限性 3. 利用Shell命令HDFS进行交互 3.1 概要 3.2 目录操作 3.3 文件操作 4. 利用web界面管理HDFS 5. 使用JavaApi进行管理HDFS 5.1 导包并测试 5.2 题目 第一题 第二题 第三题 6. 在集群上运行 7. 结语 最后
3 0
【大数据基础实践】(六)数据仓库Hive的基本操作
目录 1. 数据仓库概念 2. Hive简介 2.1 简介 2.2 特性 2.3 生态系统 3. Hive系统架构 4. HQL转成MapReduce作业的原理 4.1 join的实现原理 4.2 group by的实现原理 5. 实验练习 5.1 环境配置 5.1.1 HIVE 5.1.2 MYSQL 5.1.3 配置MySql为hive元数据存储数据库 5.2 Shell进行实验内容 5.2.1 新建一个数据库; 5.2.2 新建表 5.2.3 添加分区 5.2.4 导入grade_zqc 5.2.5 统计男、女生人数 5.2.6 统计每个学生所有科目的总分以及平均分
4 0
472
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载