带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进(一)

本文涉及的产品
文件存储 NAS,50GB 3个月
简介: 《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进…

云计算与大数据技术的发展,推动存储系统架构的持续演进,存储系统从最原始的基   于主机的架构逐步向网络化、虚拟化方向发展,存储系统更加关注性能、效率、灵活性、   安全性的提升,而这些特性都需要好的存储架构来满足。

粗略分类,存储架构的演进可以划分为以下两个阶段。

第一阶段:从离散化到集中化的演进(从DASSAN/NAS

互联网发展初期,存储需求相对简单,数据规模较小,存储系统架构以存储介质直连服务器(Direct-Attached   StorageDAS)为主,存储介质直接挂载到服务器的总线上来提供数据访问服务,数据存储设备与服务器是一种同生共死的状态。

这种方式可以简洁地解决数据的存储需求,但也存在着较为明显的弊端。

◆  服务器之间的存储系统形成孤岛,限制数据的共享访问;

◆  随着 CPU 处理能力逐步增强,SCSI连接通道会成为 I/O 的瓶颈,制约性能发挥;

◆  随着数据量增长,存储的安全性(备份 /恢复需求、扩展性问题日益凸显。

基于以上症结,存储区域网络(StorageAreaNetwork,SAN)架构以及网络附属存储(NetworkAttached Storage,NAS)架构应运而生。

1-1展示了 DAS、SAN、NAS使用方式的差异。

 image.png

 

1-1OAS、SAN、NAS使用方式示意

 

 

SAN是一种专门为存储建立的独立于 TCP/IP 数据网络之外的专用网络,连接服务器和磁盘阵列设备,提供高速的数据传输,存储设备在服务器侧以块存储设备形式展现。目前常见的SANIP-SANFC-SANFC是指FibreChannel,光纤通道,其中IP-SAN

通过TCP协议转发SCSI  SmallComputerSystemInterface,小型计算机系统接口协议,

FC-SAN通过光纤通道协议转发SCSI协议(采用光纤接口,可以提供更高的带宽SAN的结构允许任何服务器连接到任何存储阵列,不管数据放置在哪里,服务器都可以直接存取所需的数据,这样的方式也便于系统的统一管理以及集中控制。成本与复杂性是SAN储架构较为明显的缺陷。

NAS是连接在网络上具备数据存储功能的装置,因此也称为网络存储器,可提供跨平台文件共享功能。NAS 以数据为中心,将存储设备与服务器彻底分离,集中管理数据,存储设备在服务器侧以文件系统形式展现。NAS本身能够支持多种协议(NFSCIFSFTPHTTP,而且能够支持各种操作系统。NAS数据存储适用于需要通过网络将文件数据传送到多台客户机上进行访问的用户,可以提供高效的文件共享服务。NAS的缺点也较为明显,扩展性受到设备大小的限制,且只能提供文件级访问,无法满足block级应用的使用需求。

第二阶段:从集中化到虚拟化的演进SAN/NAS到分布式存储系统

SAN/NAS    解决方案的出现,实现了存储系统集中化建设及统一化管理的诉求,为规模化的数据中心基础设施建设提供了便捷途径。数据中心建设过程中不可避免地会出现采购规范多元化、设备型号多样化的情况,存储设备的兼容性问题、异构硬件的统一性问题会给企业的数据运维带来棘手的挑战。存储虚拟化技术应运而生,其核心思想是将资源的逻辑映像与物理存储分开,通过存储系统或存储服务内部功能进行抽象、隐藏和隔离,屏蔽不同物理设备的异构属性,实现数据服务与物理硬件的独立管理,如图1-2所示。

image.png

1-2 存储虚拟化示意

 

 

分布式存储系统是存储虚拟化技术的常见展现形式,分布式存储系统将数据分散存储在多台独立的设备上,并对外提供统一的存储服务。分布式存储系统具有高度的可伸缩性以及可扩展性,具有强大的数据访问性能,且对标准化硬件支持更好,允许大规模存储系统可以通过相对低廉的成本进行建设与运维。

抛开存储系统架构演进的萌芽阶段的方案(DAS存储方案,可以将存储系统架构分为传统的集中式存储系统以及新兴的分布式存储系统两大类,二者有较大的差异,表现在:

◆  传统的存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要;

◆  分布式存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负载,利用索引定位数据存储位置信息,不但提高了存储系统的可靠性、可用性以及数据存取效率,   还更易于扩展。


1.1.1   集中式存储系统

传统的存储也称为集中式存储,从概念上可以看出其架构具有集中性,也就是整个存储是集中在一个系统中的。但集中式存储并不一定只是一台单独的设备,也可以是集中在一套系统当中的多个设备,如图1-3中的 SAN 存储方案就使用了几个机柜来存放数据。

在集中式存储系统中包含很多组件,如机头(控制器、磁盘阵列(JBOD、交换机以及管理设备等,如图 1-4所示。

集中式存储系统中最为核心的部件是机头,机头中的控制器实现了集中式存储系统中绝大多数的高级功能,如对磁盘的管理、将磁盘抽象化为存储资源池、划分逻辑单元号

LogicalUnitNumberLUN)给客户端使用等,通常机头中包含两个控制器,互为主备,避免硬件故障导致整个存储系统的不可用。机头中包含前端端口以及后端端口,前端端口   对外连接,提供存储服务,后端端口为机头连接更多的存储设备,形成更大的存储资源池,扩充存储系统的容量。

机头作为集中式存储系统的统一入口,其处理能力及扩展能力决定了系统整体的定位,通常集中式存储系统只能提供有限的存储系统纵向扩展(scaleup1能力,很难满足存储系统横向扩展(scaleout2的需求。通常情况下,可以通过scaleup 方式来扩展单台服务器的性能,满足业务的需求;一旦遇到服务器性能的瓶颈上限后,就需要转而求助于scaleout方式来进一步满足要求。

 

1scaleup(纵向扩展)指企业大型服务器通过增加处理器等运算资源进行升级以获得对应用性能的要求。

2scaleout(横向扩展)指企业可以根据需求增加不同的服务器应用,依靠多台服务器协同运算,并通过负载平衡以及容错等功能来提高运算能力及可靠度。

 

image.png

1-3    集中式存储系统示例          

image.png                        

1-4集中式存储系统组件示意

 

相关实践学习
使用DAS实现数据库自动扩容和回缩
暂无
相关文章
|
22小时前
|
Kubernetes 监控 Serverless
基于阿里云Serverless Kubernetes(ASK)的无服务器架构设计与实践
无服务器架构(Serverless Architecture)在云原生技术中备受关注,开发者只需专注于业务逻辑,无需管理服务器。阿里云Serverless Kubernetes(ASK)是基于Kubernetes的托管服务,提供极致弹性和按需付费能力。本文深入探讨如何使用ASK设计和实现无服务器架构,涵盖事件驱动、自动扩展、无状态设计、监控与日志及成本优化等方面,并通过图片处理服务案例展示具体实践,帮助构建高效可靠的无服务器应用。
|
14天前
|
存储 SQL 监控
转转平台IM系统架构设计与实践(二):详细设计与实现
以转转IM架构为起点,介绍IM相关组件以及组件间的关系;以IM登陆和发消息的数据流转为跑道,介绍IM静态数据结构、登陆和发消息时的动态数据变化;以IM常见问题为风景,介绍保证IM实时性、可靠性、一致性的一般方案;以高可用、高并发为终点,介绍保证IM系统稳定及性能的小技巧。
28 6
|
21天前
|
存储 SQL 缓存
MySQL原理简介—2.InnoDB架构原理和执行流程
本文介绍了MySQL中更新语句的执行流程及其背后的机制,主要包括: 1. **更新语句的执行流程**:从SQL解析到执行器调用InnoDB存储引擎接口。 2. **Buffer Pool缓冲池**:缓存磁盘数据,减少磁盘I/O。 3. **Undo日志**:记录更新前的数据,支持事务回滚。 4. **Redo日志**:确保事务持久性,防止宕机导致的数据丢失。 5. **Binlog日志**:记录逻辑操作,用于数据恢复和主从复制。 6. **事务提交机制**:包括redo日志和binlog日志的刷盘策略,确保数据一致性。 7. **后台IO线程**:将内存中的脏数据异步刷入磁盘。
|
1月前
|
存储 缓存 关系型数据库
社交软件红包技术解密(六):微信红包系统的存储层架构演进实践
微信红包本质是小额资金在用户帐户流转,有发、抢、拆三大步骤。在这个过程中对事务有高要求,所以订单最终要基于传统的RDBMS,这方面是它的强项,最终订单的存储使用互联网行业最通用的MySQL数据库。支持事务、成熟稳定,我们的团队在MySQL上有长期技术积累。但是传统数据库的扩展性有局限,需要通过架构解决。
69 18
|
1月前
|
存储 缓存 监控
ClickHouse 架构原理及核心特性详解
ClickHouse 是由 Yandex 开发的开源列式数据库,专为 OLAP 场景设计,支持高效的大数据分析。其核心特性包括列式存储、字段压缩、丰富的数据类型、向量化执行和分布式查询。ClickHouse 通过多种表引擎(如 MergeTree、ReplacingMergeTree、SummingMergeTree)优化了数据写入和查询性能,适用于电商数据分析、日志分析等场景。然而,它在事务处理、单条数据更新删除及内存占用方面存在不足。
389 21
|
23小时前
|
监控 Kubernetes Cloud Native
基于阿里云容器服务Kubernetes版(ACK)的微服务架构设计与实践
本文介绍了如何基于阿里云容器服务Kubernetes版(ACK)设计和实现微服务架构。首先概述了微服务架构的优势与挑战,如模块化、可扩展性及技术多样性。接着详细描述了ACK的核心功能,包括集群管理、应用管理、网络与安全、监控与日志等。在设计基于ACK的微服务架构时,需考虑服务拆分、通信、发现与负载均衡、配置管理、监控与日志以及CI/CD等方面。通过一个电商应用案例,展示了用户服务、商品服务、订单服务和支付服务的具体部署步骤。最后总结了ACK为微服务架构提供的强大支持,帮助应对各种挑战,构建高效可靠的云原生应用。
|
1月前
|
存储 消息中间件 druid
Druid 架构原理及核心特性详解
Druid 是一个分布式、支持实时多维OLAP分析的列式存储数据处理系统,适用于高速实时数据读取和灵活的多维数据分析。它通过Segment、Datasource等元数据概念管理数据,并依赖Zookeeper、Hadoop和Kafka等组件实现高可用性和扩展性。Druid采用列式存储、并行计算和预计算等技术优化查询性能,支持离线和实时数据分析。尽管其存储成本较高且查询语言功能有限,但在大数据实时分析领域表现出色。
140 19
|
1月前
|
存储 SQL NoSQL
Doris 架构原理及核心特性详解
Doris 是百度内部孵化的OLAP项目,现已开源并广泛应用。它采用MPP架构、向量化执行引擎和列存储技术,提供高性能、易用性和实时数据处理能力。系统由FE(管理节点)和BE(计算与存储节点)组成,支持水平扩展和高可用性。Doris 适用于海量数据分析,尤其在电商、游戏等行业表现出色,但资源消耗较大,复杂查询优化有局限性,生态集成度有待提高。
142 15
|
1月前
|
Java 网络安全 开发工具
Git进阶笔记系列(01)Git核心架构原理 | 常用命令实战集合
通过本文,读者可以深入了解Git的核心概念和实际操作技巧,提升版本管理能力。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
一文彻底讲透GPT架构及推理原理
本篇是作者从开发人员的视角,围绕着大模型正向推理过程,对大模型的原理的系统性总结,希望对初学者有所帮助。

热门文章

最新文章