带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进(一)

本文涉及的产品
文件存储 NAS,50GB 3个月
简介: 《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进…

云计算与大数据技术的发展,推动存储系统架构的持续演进,存储系统从最原始的基   于主机的架构逐步向网络化、虚拟化方向发展,存储系统更加关注性能、效率、灵活性、   安全性的提升,而这些特性都需要好的存储架构来满足。

粗略分类,存储架构的演进可以划分为以下两个阶段。

第一阶段:从离散化到集中化的演进(从DASSAN/NAS

互联网发展初期,存储需求相对简单,数据规模较小,存储系统架构以存储介质直连服务器(Direct-Attached   StorageDAS)为主,存储介质直接挂载到服务器的总线上来提供数据访问服务,数据存储设备与服务器是一种同生共死的状态。

这种方式可以简洁地解决数据的存储需求,但也存在着较为明显的弊端。

◆  服务器之间的存储系统形成孤岛,限制数据的共享访问;

◆  随着 CPU 处理能力逐步增强,SCSI连接通道会成为 I/O 的瓶颈,制约性能发挥;

◆  随着数据量增长,存储的安全性(备份 /恢复需求、扩展性问题日益凸显。

基于以上症结,存储区域网络(StorageAreaNetwork,SAN)架构以及网络附属存储(NetworkAttached Storage,NAS)架构应运而生。

1-1展示了 DAS、SAN、NAS使用方式的差异。

 image.png

 

1-1OAS、SAN、NAS使用方式示意

 

 

SAN是一种专门为存储建立的独立于 TCP/IP 数据网络之外的专用网络,连接服务器和磁盘阵列设备,提供高速的数据传输,存储设备在服务器侧以块存储设备形式展现。目前常见的SANIP-SANFC-SANFC是指FibreChannel,光纤通道,其中IP-SAN

通过TCP协议转发SCSI  SmallComputerSystemInterface,小型计算机系统接口协议,

FC-SAN通过光纤通道协议转发SCSI协议(采用光纤接口,可以提供更高的带宽SAN的结构允许任何服务器连接到任何存储阵列,不管数据放置在哪里,服务器都可以直接存取所需的数据,这样的方式也便于系统的统一管理以及集中控制。成本与复杂性是SAN储架构较为明显的缺陷。

NAS是连接在网络上具备数据存储功能的装置,因此也称为网络存储器,可提供跨平台文件共享功能。NAS 以数据为中心,将存储设备与服务器彻底分离,集中管理数据,存储设备在服务器侧以文件系统形式展现。NAS本身能够支持多种协议(NFSCIFSFTPHTTP,而且能够支持各种操作系统。NAS数据存储适用于需要通过网络将文件数据传送到多台客户机上进行访问的用户,可以提供高效的文件共享服务。NAS的缺点也较为明显,扩展性受到设备大小的限制,且只能提供文件级访问,无法满足block级应用的使用需求。

第二阶段:从集中化到虚拟化的演进SAN/NAS到分布式存储系统

SAN/NAS    解决方案的出现,实现了存储系统集中化建设及统一化管理的诉求,为规模化的数据中心基础设施建设提供了便捷途径。数据中心建设过程中不可避免地会出现采购规范多元化、设备型号多样化的情况,存储设备的兼容性问题、异构硬件的统一性问题会给企业的数据运维带来棘手的挑战。存储虚拟化技术应运而生,其核心思想是将资源的逻辑映像与物理存储分开,通过存储系统或存储服务内部功能进行抽象、隐藏和隔离,屏蔽不同物理设备的异构属性,实现数据服务与物理硬件的独立管理,如图1-2所示。

image.png

1-2 存储虚拟化示意

 

 

分布式存储系统是存储虚拟化技术的常见展现形式,分布式存储系统将数据分散存储在多台独立的设备上,并对外提供统一的存储服务。分布式存储系统具有高度的可伸缩性以及可扩展性,具有强大的数据访问性能,且对标准化硬件支持更好,允许大规模存储系统可以通过相对低廉的成本进行建设与运维。

抛开存储系统架构演进的萌芽阶段的方案(DAS存储方案,可以将存储系统架构分为传统的集中式存储系统以及新兴的分布式存储系统两大类,二者有较大的差异,表现在:

◆  传统的存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要;

◆  分布式存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负载,利用索引定位数据存储位置信息,不但提高了存储系统的可靠性、可用性以及数据存取效率,   还更易于扩展。


1.1.1   集中式存储系统

传统的存储也称为集中式存储,从概念上可以看出其架构具有集中性,也就是整个存储是集中在一个系统中的。但集中式存储并不一定只是一台单独的设备,也可以是集中在一套系统当中的多个设备,如图1-3中的 SAN 存储方案就使用了几个机柜来存放数据。

在集中式存储系统中包含很多组件,如机头(控制器、磁盘阵列(JBOD、交换机以及管理设备等,如图 1-4所示。

集中式存储系统中最为核心的部件是机头,机头中的控制器实现了集中式存储系统中绝大多数的高级功能,如对磁盘的管理、将磁盘抽象化为存储资源池、划分逻辑单元号

LogicalUnitNumberLUN)给客户端使用等,通常机头中包含两个控制器,互为主备,避免硬件故障导致整个存储系统的不可用。机头中包含前端端口以及后端端口,前端端口   对外连接,提供存储服务,后端端口为机头连接更多的存储设备,形成更大的存储资源池,扩充存储系统的容量。

机头作为集中式存储系统的统一入口,其处理能力及扩展能力决定了系统整体的定位,通常集中式存储系统只能提供有限的存储系统纵向扩展(scaleup1能力,很难满足存储系统横向扩展(scaleout2的需求。通常情况下,可以通过scaleup 方式来扩展单台服务器的性能,满足业务的需求;一旦遇到服务器性能的瓶颈上限后,就需要转而求助于scaleout方式来进一步满足要求。

 

1scaleup(纵向扩展)指企业大型服务器通过增加处理器等运算资源进行升级以获得对应用性能的要求。

2scaleout(横向扩展)指企业可以根据需求增加不同的服务器应用,依靠多台服务器协同运算,并通过负载平衡以及容错等功能来提高运算能力及可靠度。

 

image.png

1-3    集中式存储系统示例          

image.png                        

1-4集中式存储系统组件示意

 

相关实践学习
使用DAS实现数据库自动扩容和回缩
暂无
相关文章
|
10天前
|
存储 JSON 数据库
Elasticsearch 分布式架构解析
【9月更文第2天】Elasticsearch 是一个分布式的搜索和分析引擎,以其高可扩展性和实时性著称。它基于 Lucene 开发,但提供了更高级别的抽象,使得开发者能够轻松地构建复杂的搜索应用。本文将深入探讨 Elasticsearch 的分布式存储和检索机制,解释其背后的原理及其优势。
39 5
|
14天前
|
Ubuntu Linux
查看Linux系统架构的命令,查看linux系统是哪种架构:AMD、ARM、x86、x86_64、pcc 或 查看Ubuntu的版本号
查看Linux系统架构的命令,查看linux系统是哪种架构:AMD、ARM、x86、x86_64、pcc 或 查看Ubuntu的版本号
126 3
|
9天前
|
存储 块存储
ceph分布式存储系统常见术语篇
关于Ceph分布式存储系统的常见术语解释和概述。
26 1
ceph分布式存储系统常见术语篇
|
10天前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
43 9
|
15天前
|
设计模式 存储 前端开发
揭秘.NET架构设计模式:如何构建坚不可摧的系统?掌握这些,让你的项目无懈可击!
【8月更文挑战第28天】在软件开发中,设计模式是解决常见问题的经典方案,助力构建可维护、可扩展的系统。本文探讨了.NET中三种关键架构设计模式:MVC、依赖注入与仓储模式,并提供了示例代码。MVC通过模型、视图和控制器分离关注点;依赖注入则通过外部管理组件依赖提升复用性和可测性;仓储模式则统一数据访问接口,分离数据逻辑与业务逻辑。掌握这些模式有助于开发者优化系统架构,提升软件质量。
30 5
|
11天前
|
微服务 API Java
微服务架构大揭秘!Play Framework如何助力构建松耦合系统?一场技术革命即将上演!
【8月更文挑战第31天】互联网技术飞速发展,微服务架构成为企业级应用主流。微服务将单一应用拆分成多个小服务,通过轻量级通信机制交互。高性能Java Web框架Play Framework具备轻量级、易扩展特性,适合构建微服务。本文探讨使用Play Framework构建松耦合微服务系统的方法。Play采用响应式编程模型,支持模块化开发,提供丰富生态系统,便于快速构建功能完善的微服务。
22 0
|
14天前
|
消息中间件 Java RocketMQ
微服务架构师的福音:深度解析Spring Cloud RocketMQ,打造高可靠消息驱动系统的不二之选!
【8月更文挑战第29天】Spring Cloud RocketMQ结合了Spring Cloud生态与RocketMQ消息中间件的优势,简化了RocketMQ在微服务中的集成,使开发者能更专注业务逻辑。通过配置依赖和连接信息,可轻松搭建消息生产和消费流程,支持消息过滤、转换及分布式事务等功能,确保微服务间解耦的同时,提升了系统的稳定性和效率。掌握其应用,有助于构建复杂分布式系统。
31 0
|
14天前
|
机器学习/深度学习 分布式计算 PyTorch
构建可扩展的深度学习系统:PyTorch 与分布式计算
【8月更文第29天】随着数据量和模型复杂度的增加,单个GPU或CPU已无法满足大规模深度学习模型的训练需求。分布式计算提供了一种解决方案,能够有效地利用多台机器上的多个GPU进行并行训练,显著加快训练速度。本文将探讨如何使用PyTorch框架实现深度学习模型的分布式训练,并通过一个具体的示例展示整个过程。
27 0
|
15天前
|
消息中间件 缓存 Java
如何优化大型Java后端系统的性能:从代码到架构
当面对大型Java后端系统时,性能优化不仅仅是简单地提高代码效率或硬件资源的投入,而是涉及到多层次的技术策略。本篇文章将从代码层面的优化到系统架构的调整,详细探讨如何通过多种方式来提升Java后端系统的性能。通过对常见问题的深入分析和实际案例的分享,我们将探索有效的性能优化策略,帮助开发者构建更高效、更可靠的后端系统。
|
14天前
|
Kubernetes Cloud Native Docker
云原生之旅:从容器到微服务的架构演变
【8月更文挑战第29天】在数字化时代的浪潮下,云原生技术以其灵活性、可扩展性和弹性管理成为企业数字化转型的关键。本文将通过浅显易懂的语言和生动的比喻,带领读者了解云原生的基本概念,探索容器化技术的奥秘,并深入微服务架构的世界。我们将一起见证代码如何转化为现实中的服务,实现快速迭代和高效部署。无论你是初学者还是有经验的开发者,这篇文章都会为你打开一扇通往云原生世界的大门。