带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进(一)

本文涉及的产品
文件存储 NAS,50GB 3个月
简介: 《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进…

云计算与大数据技术的发展,推动存储系统架构的持续演进,存储系统从最原始的基   于主机的架构逐步向网络化、虚拟化方向发展,存储系统更加关注性能、效率、灵活性、   安全性的提升,而这些特性都需要好的存储架构来满足。

粗略分类,存储架构的演进可以划分为以下两个阶段。

第一阶段:从离散化到集中化的演进(从DASSAN/NAS

互联网发展初期,存储需求相对简单,数据规模较小,存储系统架构以存储介质直连服务器(Direct-Attached   StorageDAS)为主,存储介质直接挂载到服务器的总线上来提供数据访问服务,数据存储设备与服务器是一种同生共死的状态。

这种方式可以简洁地解决数据的存储需求,但也存在着较为明显的弊端。

◆  服务器之间的存储系统形成孤岛,限制数据的共享访问;

◆  随着 CPU 处理能力逐步增强,SCSI连接通道会成为 I/O 的瓶颈,制约性能发挥;

◆  随着数据量增长,存储的安全性(备份 /恢复需求、扩展性问题日益凸显。

基于以上症结,存储区域网络(StorageAreaNetwork,SAN)架构以及网络附属存储(NetworkAttached Storage,NAS)架构应运而生。

1-1展示了 DAS、SAN、NAS使用方式的差异。

 image.png

 

1-1OAS、SAN、NAS使用方式示意

 

 

SAN是一种专门为存储建立的独立于 TCP/IP 数据网络之外的专用网络,连接服务器和磁盘阵列设备,提供高速的数据传输,存储设备在服务器侧以块存储设备形式展现。目前常见的SANIP-SANFC-SANFC是指FibreChannel,光纤通道,其中IP-SAN

通过TCP协议转发SCSI  SmallComputerSystemInterface,小型计算机系统接口协议,

FC-SAN通过光纤通道协议转发SCSI协议(采用光纤接口,可以提供更高的带宽SAN的结构允许任何服务器连接到任何存储阵列,不管数据放置在哪里,服务器都可以直接存取所需的数据,这样的方式也便于系统的统一管理以及集中控制。成本与复杂性是SAN储架构较为明显的缺陷。

NAS是连接在网络上具备数据存储功能的装置,因此也称为网络存储器,可提供跨平台文件共享功能。NAS 以数据为中心,将存储设备与服务器彻底分离,集中管理数据,存储设备在服务器侧以文件系统形式展现。NAS本身能够支持多种协议(NFSCIFSFTPHTTP,而且能够支持各种操作系统。NAS数据存储适用于需要通过网络将文件数据传送到多台客户机上进行访问的用户,可以提供高效的文件共享服务。NAS的缺点也较为明显,扩展性受到设备大小的限制,且只能提供文件级访问,无法满足block级应用的使用需求。

第二阶段:从集中化到虚拟化的演进SAN/NAS到分布式存储系统

SAN/NAS    解决方案的出现,实现了存储系统集中化建设及统一化管理的诉求,为规模化的数据中心基础设施建设提供了便捷途径。数据中心建设过程中不可避免地会出现采购规范多元化、设备型号多样化的情况,存储设备的兼容性问题、异构硬件的统一性问题会给企业的数据运维带来棘手的挑战。存储虚拟化技术应运而生,其核心思想是将资源的逻辑映像与物理存储分开,通过存储系统或存储服务内部功能进行抽象、隐藏和隔离,屏蔽不同物理设备的异构属性,实现数据服务与物理硬件的独立管理,如图1-2所示。

image.png

1-2 存储虚拟化示意

 

 

分布式存储系统是存储虚拟化技术的常见展现形式,分布式存储系统将数据分散存储在多台独立的设备上,并对外提供统一的存储服务。分布式存储系统具有高度的可伸缩性以及可扩展性,具有强大的数据访问性能,且对标准化硬件支持更好,允许大规模存储系统可以通过相对低廉的成本进行建设与运维。

抛开存储系统架构演进的萌芽阶段的方案(DAS存储方案,可以将存储系统架构分为传统的集中式存储系统以及新兴的分布式存储系统两大类,二者有较大的差异,表现在:

◆  传统的存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要;

◆  分布式存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负载,利用索引定位数据存储位置信息,不但提高了存储系统的可靠性、可用性以及数据存取效率,   还更易于扩展。


1.1.1   集中式存储系统

传统的存储也称为集中式存储,从概念上可以看出其架构具有集中性,也就是整个存储是集中在一个系统中的。但集中式存储并不一定只是一台单独的设备,也可以是集中在一套系统当中的多个设备,如图1-3中的 SAN 存储方案就使用了几个机柜来存放数据。

在集中式存储系统中包含很多组件,如机头(控制器、磁盘阵列(JBOD、交换机以及管理设备等,如图 1-4所示。

集中式存储系统中最为核心的部件是机头,机头中的控制器实现了集中式存储系统中绝大多数的高级功能,如对磁盘的管理、将磁盘抽象化为存储资源池、划分逻辑单元号

LogicalUnitNumberLUN)给客户端使用等,通常机头中包含两个控制器,互为主备,避免硬件故障导致整个存储系统的不可用。机头中包含前端端口以及后端端口,前端端口   对外连接,提供存储服务,后端端口为机头连接更多的存储设备,形成更大的存储资源池,扩充存储系统的容量。

机头作为集中式存储系统的统一入口,其处理能力及扩展能力决定了系统整体的定位,通常集中式存储系统只能提供有限的存储系统纵向扩展(scaleup1能力,很难满足存储系统横向扩展(scaleout2的需求。通常情况下,可以通过scaleup 方式来扩展单台服务器的性能,满足业务的需求;一旦遇到服务器性能的瓶颈上限后,就需要转而求助于scaleout方式来进一步满足要求。

 

1scaleup(纵向扩展)指企业大型服务器通过增加处理器等运算资源进行升级以获得对应用性能的要求。

2scaleout(横向扩展)指企业可以根据需求增加不同的服务器应用,依靠多台服务器协同运算,并通过负载平衡以及容错等功能来提高运算能力及可靠度。

 

image.png

1-3    集中式存储系统示例          

image.png                        

1-4集中式存储系统组件示意

 

相关文章
|
2天前
|
JSON 文字识别 BI
如何开发车辆管理系统中的加油管理板块(附架构图+流程图+代码参考)
本文针对中小企业在车辆加油管理中常见的单据混乱、油卡管理困难、对账困难等问题,提出了一套完整的系统化解决方案。内容涵盖车辆管理系统(VMS)的核心功能、加油管理模块的设计要点、数据库模型、系统架构、关键业务流程、API设计与实现示例、前端展示参考(React + Antd)、开发技巧与工程化建议等。通过构建加油管理系统,企业可实现燃油费用的透明化、自动化对账、异常检测与数据分析,从而降低运营成本、提升管理效率。适合希望通过技术手段优化车辆管理的企业技术人员与管理者参考。
|
2天前
|
消息中间件 缓存 JavaScript
如何开发ERP(离散制造-MTO)系统中的生产管理板块(附架构图+流程图+代码参考)
本文详解离散制造MTO模式下的ERP生产管理模块,涵盖核心问题、系统架构、关键流程、开发技巧及数据库设计,助力企业打通计划与执行“最后一公里”,提升交付率、降低库存与浪费。
|
5天前
|
消息中间件 JavaScript 前端开发
如何开发ERP(离散制造-MTO)系统中的技术管理板块(附架构图+流程图+代码参考)
本文详解ERP(离散制造-MTO)系统中的技术管理板块,涵盖产品定义、BOM、工序、工艺文件及变更控制的结构化与系统化管理。内容包括技术管理的核心目标、总体架构、关键组件、业务流程、开发技巧与最佳实践,并提供完整的参考代码,助力企业将技术数据转化为可执行的生产指令,提升制造效率与质量。
|
3天前
|
存储 JSON 数据处理
ClkLog埋点与用户行为分析系统:架构升级与性能全面提升
随着越来越多企业在实际业务中使用 ClkLog,数据规模和分析需求也不断提升,部分用户日活已经超过10万,为了顺应这一趋势,ClkLog 秉持 “开放透明、持续演进”的理念,推出了迄今为止最重要的一次性能优化升级。新版本在大规模数据处理与复杂查询场景中,性能表现实现了跨越式提升。经过多轮研发与严格测试,新版本现已正式上线:在原有付费版 1.0 的基础上架构全面升级,并同步发布全新的 2.0 版本。为用户带来更强的性能与更广的适用场景。
|
4天前
|
存储 消息中间件 安全
企业级实时消息推送系统的架构设计,一文即懂!
如果你是技术负责人,该如何搭建一套能解决这些问题的企业级统一消息推送平台?今天我们就从核心挑战出发,拆解一套可落地的统一推送服务架构方案。
46 0
|
4天前
|
消息中间件 JavaScript BI
如何开发ERP(离散制造-MTO)系统中的客户管理板块(附架构图+流程图+代码参考)
本文详解离散制造-MTO模式下ERP系统客户管理模块的设计与实现,涵盖架构图、流程图、功能拆解、开发技巧及TypeScript参考代码,助力企业打通客户信息与报价、生产、交付全链路,提升响应效率与订单准交率。
|
4天前
|
JSON 前端开发 关系型数据库
如何开发ERP(离散制造-MTO)系统中的销售管理板块(附架构图+流程图+代码参考)
针对离散制造MTO模式,销售管理是业务核心入口,贯穿报价、订单、ATP、排产与交付。本文详解其架构设计、关键流程、数据模型及开发实践,助力企业提升交付准确率与运营效率。
|
9月前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
10月前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
239 3
|
5月前
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
332 12

热门文章

最新文章