浅析企业私有云中的存储架构

简介:

1 云计算

1.1 云计算

云计算(Cloud Computing)是分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。

云计算是继20世纪80年代大型计算机系统中客户端-服务器连接模式大转变之后的又一次重大的技术革命。用户不再需要了解和知道“云”中基础设施的细节,不必具有相应的专业知识,也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及到通过互联网提供动态化的、易扩展,而且经常是虚拟化的资源。在云计算模式下,用户通常可以通过浏览器或其他Web服务来访问或获得自己所需要的信息、资源。

1.2 云计算的类型

云计算按照部署方式通常分为公有云、私有云和混合云。

公有云(Public Clouds)通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过 Internet 使用,可能是免费或成本低廉的。用户通过互联网访问服务,但并不拥有云计算资源。公有云作为一个支撑平台,还能够整合上游的服务(如增值业务、广告)提供者和下游最终用户,打造新的价值链和生态系统。

私有云(Private Clouds)是为一个组织单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。该组织拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所。

私有云的部署比较适合于有众多分支机构的大型企业或政府部门。随着这些大型企业数据中心的集中化,私有云将会成为他们部署IT系统的主流模式。相比公有云,私有云有如下优势:

(1)能对数据、安全性提供有效控制;

(2)提供更高的服务质量;

(3)充分利用现有硬件资源和软件资源;

(4)不影响现有IT管理的流程。

2 私有云中的存储架构需求

为了适应云计算的海量用户数、扩展灵活、资源池化等特点,建设企业私有云的时候,后台的存储系统架构也必须具备如下技术特征:

(1)采用弹性可伸缩的扩展技术,满足PB级海量存储需求;

(2)采用虚拟化技术,将后端存储资源“虚拟化”;

(3)具备多用户安全共享存储空间的能力;

(4)可向云计算用户提供虚拟的海量存储空间,也就是精简配置;

(5)可对后端存储资源有效管理,杜绝浪费。

2.1 弹性可伸缩的扩展能力

随着企业信息化进程的不断深入,各种应用系统越来越多,各种数据也是快速增长。为了支撑前端庞大的应用,后端的存储系统也必须能够同时具备纵向扩展和横向扩展能力。纵向扩展能力的技术实现通常相对简单,但由于只是在单一的存储节点上进行容量的扩展,纵向扩展方法在存储容量过大、并发访问用户大时,存储节点的前端处理控制单元会成为I/O瓶颈。

为了解决单一存储节点有限的处理能力和高并发用户、海量存储空间之间的矛盾,现在的存储厂家都推出了具有横向扩展能力的存储设备。

2.1.1 Block存储扩展

对于采用Block方式的存储系统一般是通过多控制器方式进行扩展:存储设备通过多控制器网状架构连接,在进行磁盘容量扩展的同时,控制器也得以扩展,保障提供足够的前端带宽和数据转存能力。

2.1.2 NAS存储扩展

对于NAS存储扩展,一是横向扩展:采用独立文件分散放置方式,其特征是文件服务器节点随机将文件存放在各自的存储空间里。这种模式下,NAS系统的文件服务器可做横向扩展,并且每个NAS文件服务器后端存储只负责存放隶属于本文件服务器的文件。尽管每一个文件的读写并没有实现负载均衡,但是当文件数量达到一定规模时,将从宏观上实现整体的负载均衡。这种模式比较适合大量的小文件读写操作。NAS系统扩展的另一方式是将存储条带化,再将文件切分放置于每个文件服务节点后端的存储上,对于需要提供高清视频VOD云服务的业务,通常单个文件都是GB级别,比较适合采用此种NAS系统,因此,当客户端访问该文件时,可以每个文件服务节点均会提供读写服务。

2.2 虚拟化存储技术

虚拟化存储技术是云计算的核心技术之一,虚拟化的主要目的是将存储资源“池化”,系统管理员只关注如何满足用户提出的实际存储容量、数据安全级别、性能等级即可。对于后端存储资源的分配和使用,系统管理员只需要从这个处于云端的存储资源池里提取即可。

2.3 多用户安全共享

共享存储空间的安全从来都是存储系统中一个极其重要的问题,例如有意、无意的删除或者泄密等都是经常出现的问题。同样,云计算中由于其用户位置的不可预知性、浮动性等原因,多用户共享的安全尤为重要,因此必须要有相应的安全隔离措施。目前,比较领先的技术是利用虚拟专用阵列技术,可以将一套物理存储划分为多个虚拟存储,并分配给不同的使用客户。通过对用户和主机的安全的隔离管理,使每个用户群和应用都获得了比以前更高的存储服务级别包括性能、可用性和功能性,而所使用的设施却更少。 由于所有用户都只能访问经过授权的属于自己的虚拟存储域,这样他们就可以独立和安心地管理和监控和使用系统,而不必担心其他用户的行为或被其他用户看到。有意或无意地删除以及未经授权或意外的卷访问都可以得到避免和防止。

2.4 精简配置

对于云计算系统这样的多用户共享存储环境,一个突出的难题是如何精确地为每个用户分配适量的存储空间,即必须满足用户数据持续增长的需求,还要提高存储空间分配的准确率,避免过多分配无用空间而造成的资源浪费。

用户数据的增长具有极大的不可预测性,这就为系统管理员对存储空间的分配带来很大困难。实际情况常常是,系统管理员往往过多地预估存储空间,分配超过实际容量50%甚至更多的空间,当然也有分配空间不够用户使用的情况。由于需要在单一存储上整合多个应用,这种过多分配空间的后果是造成存储资源的大量闲置和浪费。那么具有精简配置技术存储,恰好解决上述难题。精简配置也称之为动态空间软件,只有在数据写入时才消耗物理空间,动态容量功能消除了预留但未使用的空间,并延缓了未来存储的购买需求,减少了存储的成本。

2.5 无用存储空间回收

用户往往不断地写入和删除大量的数据会让精简卷出现闲置空间,即使是大量的小规模的数据写入和删除,也会降低精简卷的效率。实际上,这种数据的逻辑删除并没有释放以前使用的空间,反而会逐渐导致更多隐性的资源浪费。

作为云计算平台,将面临大量的用户群体。因此,必须解决已分配空间中的已删除信息的空间回收问题。具备持续精简功能的存储,可以检测连续对已分配卷进行持续地联线(线速)“精简”,同时保持原有的服务水平,且不中断生产工作负载。做到绝不浪费任何存储空间。当在多用户的云计算环境中,具备持续精简的存储,可以回收大量的无用空间,从而实现资源最大化利用。

3 企业私有云中的存储系统整合

云计算的发展是一种趋势,构建企业的私有云,如何在当今和以后使企业内部应用平台满足云计算的架构,或者在以后的发展中使应用系统架构逐步的趋于、满足云计算概念,一种快捷的方式是马上进入“云时代”,对目前的存储系统进行重新规划,使目前的存储满足统一存储、动态扩展等。

3.1 目前的存储现状

目前在一个典型的企业中,信息技术融入生产、办公、科研一般都有多年的经验和历史,由于受当时技术、思想和硬件条件的限制,在信息平台构建时几乎无一例外地采用了分散存储方式,各种不用应用的数据存放于一个或多个地点,各自拥有不同的存储子系统,并通过不同平台上的应用软件进行访问,企业中的每个应用软件专有地访问它自己的存储设备。分散存储系统具备如下特点:

(1)各个存储系统相对独立,资源无法共享;

(2)从存储底层来看,这些分散存储系统的功能重叠、用途相同。例如,A应用对应的在线存储为A存储;而B应用对应的在线存储又是另外一套B存储。A、B两套存储都作为在线数据块的存储系统,仅仅是服务的对象不同而已。

在企业私有云的建设中,如何整合以上特点的分散存储系统,使之更好地为今后的云计算平台服务。对此目前有许多存储厂商都提供了比较成熟的解决方案和产品,例如SAN虚拟化、存储虚拟化等都可以实现存储资源整合。存储整合的目的是指把企业或者云计算服务商的存储系统进行一定的“处理”, 重新组合成一个单独的物理存储系统或一个存储系统池中,整合后的存储系统相比分散的存储系统具有如下优势:

(1)存储资源统一到一个资源池里,方便系统资源调度,最大化提高系统资源利用率;

(2)统一的管理平台,简化系统管理工作;

(3)集中的存储平台让灾难备份更加简单;

(4)结合诸如虚拟存储分区等技术,让同一存储平台安全可靠地为企业的不同应用提供服务,进而为实现云计算提供技术保障。

3.2 存储整合

3.2.1 SAN虚拟化整合技术

SAN虚拟化是基于存储网络的虚拟化解决方案,可以把存储池集中管理,并在不同的服务器环境中创建异构存储资源虚拟卷,也可在异构存储之间实现快照、容灾等高级功能。

利用SAN虚拟化的存储整合技术资源池、统一,可以把企业已有的多个不同型号,甚至不同品牌的存储系统在SAN的层面整合起来,整合后的存储系统,具有同一的存储的卷管理平台。从而可以实现简化管理、提高资源利用的目的。这种存储整合目前只适合在线数据块级别的光纤通道存储的整合,而对iSCSI架构的存储,目前还没有好的解决方案。当然也存在一定的缺陷:

(1)SAN虚拟化技术仅工作在SAN层面,存放在磁盘阵列上的数据必须完全依赖于SAN虚拟化设备,如果SAN虚拟化设备发生故障,存放在磁盘阵列上的数据将无法被服务器所访问,造成数据的假性丢失。

(2)目前这类产品各自都存有较明显的技术缺陷,如 SVC控制器无法实现负载均衡, 而V-Plex只能对后端存储资源池做RAID1。在企业用户中,SAN虚拟化的用户更是非常稀少,缺乏足够的市场用户使用体验证明。

(3)SAN虚拟化技术,对后端存储的兼容支持比较有限。不少较老型号的磁盘阵列、小品牌盘阵,一般无法兼容而达到整合的目的。

3.2.2 外部存储整合技术

存储整合另一种技术是外部存储整合,一般是某些厂商的高端磁盘阵列兼备的功能,实现方法是利用软件整合其他外部异构磁盘存储设备,可将分散的磁盘存储设备虚拟化成一个存储池。基本原理是把其他异构阵列的LUN通过软件映射到本机磁盘阵列内部,对主机而言,所有的LUN均被视为本机磁盘阵列的一部分。用户无需关心这些LUN到底存在于本机磁盘阵列上还是其他磁盘阵列上。如External Storage XP就是这样的整合方式。企业自己可以利用外部存储整合功能,把现有的各种异构磁盘阵列整合到一起。和SAN虚拟化技术不同,外部存储整合技术,对最终存放数据的磁盘阵列上的卷,并不进行元数据修改,因此,即便是高端磁盘阵列故障,后端外挂的磁盘阵列上的数据仍然可以被服务器访问,没有SAN虚拟化设备那样的假性数据丢失现象。 这种技术明显的不足之处在于:前端的磁盘阵列对后端磁盘阵列的兼容支持比较有限。不少较老型号的磁盘阵列等无法兼容。由于是通过高端磁盘阵列将存储资源池里的LUN转呈给服务器,依赖于软件的实现,当后端存储过多时,前端高端盘阵有限的缓存、端口数、RAID处理芯片其实也会成为系统性能的瓶颈。

3.2.3 纯软件异构存储方案

用纯软件方法是解决存储整合的另一种解决方案,在服务器端安装软件,用软件方式实现卷复制功能,以达到与底层存储无关的目的。由于存储整合的重要特征就是具备将存储资源池化、统一供给、统一管理。这类解决方案只能着力于解决异构存储的容灾,并不是真正意义上的存储整合,如Storage Foundation等。4 企业私有云建设中的存储架构规划建议

存储系统是企业私有云建设中的一个重要组成部分,在企业私有云建设中,需要对已有的存储设备进行调整,并规划以后企业新的存储的架构,一般建议新的存储架构必须具备以下几个特征。

4.1 具有统一存储的功能

一般企业现有的系统架构都同时具有Block 和File两种不同的数据类型,所以,提供统一存储的设备,同时需要支持Block 和 File两种类型,便于企业日后系统灵活的规划和调整。

4.2 具备云存储的特征

既然要作为核心的统一存储池,就需要具备足够的扩展能力,这种扩展除了传统意义上的纵向容量扩展以外,还需要考虑横向扩展,以便在扩展容量的同时扩充性能,而且,分散和组合都是自由实现,不受设备本身的限制和影响。

4.3 具备虚拟化的特性

未来的存储架构必须要去适应虚拟化,也就是存储需要具备虚拟化的特性,这样才可以和虚拟化系统更好地配合,这也可以为存储扩展、规划留下充裕的空间。

5 结束语

尽管云计算早就已经被提了出来,但是直到近年,云计算才在国内的许多行业得以重视。在不经意间,我们所处的世界已经发生了天翻地覆的革新,云计算业务生活中随处可见、触手可及。在建设数字化城市、数字化油田时,企业也应该与时俱进,考虑和规划企业的云计算环境。


本文作者:佚名

来源:51CTO

相关实践学习
函数计算部署PuLID for FLUX人像写真实现智能换颜效果
只需一张图片,生成程序员专属写真!本次实验在函数计算中内置PuLID for FLUX,您可以通过函数计算+Serverless应用中心一键部署Flux模型,快速体验超写实图像生成的魅力。
相关文章
|
机器学习/深度学习 人工智能 监控
大型动作模型LAM:让企业重复任务实现80%效率提升的AI技术架构与实现方案
大型动作模型(LAMs)作为人工智能新架构,融合神经网络与符号逻辑,实现企业重复任务的自动化处理。通过神经符号集成、动作执行管道、模式学习、任务分解等核心技术,系统可高效解析用户意图并执行复杂操作,显著提升企业运营效率并降低人工成本。其自适应学习能力与上下文感知机制,使自动化流程更智能、灵活,为企业数字化转型提供坚实支撑。
752 0
大型动作模型LAM:让企业重复任务实现80%效率提升的AI技术架构与实现方案
|
人工智能 数据可视化 算法
企业想做数智化,数据仓库架构你得先搞懂!
在数智化浪潮下,数据驱动已成为企业竞争力的核心。然而,许多企业在转型过程中忽视了数据仓库这一关键基础。本文深入解析数据仓库的重要性,厘清其与数据库的区别,详解ODS、DWD、DWS、ADS分层逻辑,并提供从0到1搭建数据仓库的五步实战方法,助力企业夯实数智化底座,实现数据治理与业务协同的真正落地。
企业想做数智化,数据仓库架构你得先搞懂!
|
存储 机器学习/深度学习 缓存
软考软件评测师——计算机组成与体系结构(分级存储架构)
本内容全面解析了计算机存储系统的四大核心领域:虚拟存储技术、局部性原理、分级存储体系架构及存储器类型。虚拟存储通过软硬件协同扩展内存,支持动态加载与地址转换;局部性原理揭示程序运行特性,指导缓存设计优化;分级存储架构从寄存器到外存逐级扩展,平衡速度、容量与成本;存储器类型按寻址和访问方式分类,并介绍新型存储技术。最后探讨了存储系统未来优化趋势,如异构集成、智能预取和近存储计算等,为突破性能瓶颈提供了新方向。
|
运维 Prometheus 监控
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
468 8
|
存储 NoSQL 前端开发
【赵渝强老师】MongoDB的分布式存储架构
MongoDB分片通过将数据分布到多台服务器,实现海量数据的高效存储与读写。其架构包含路由、配置服务器和分片服务器,支持水平扩展,结合复制集保障高可用性,适用于大规模生产环境。
781 1
|
存储 关系型数据库 MySQL
成本直降30%!RDS MySQL存储自动分层实战:OSS冷热分离架构设计指南
在日均订单量超500万的场景下,MySQL数据年增200%,但访问集中在近7天(85%)。通过冷热数据分离,将历史数据迁移至OSS,实现存储成本下降48%,年省72万元。结合RDS、OSS与Redis构建分层架构,自动化管理数据生命周期,优化查询性能与资源利用率,支撑PB级数据扩展。
|
存储 关系型数据库 数据库
高性能云盘:一文解析RDS数据库存储架构升级
性能、成本、弹性,是客户实际使用数据库过程中关注的三个重要方面。RDS业界率先推出的高性能云盘(原通用云盘),是PaaS层和IaaS层的深度融合的技术最佳实践,通过使用不同的存储介质,为客户提供同时满足低成本、低延迟、高持久性的体验。
|
人工智能 自然语言处理 供应链
AI时代企业难以明确大模型价值,AI产品经理如何绘制一张‘看得懂、讲得通、落得下’的AI产品架构图解决这一问题?
本文产品专家系统阐述了AI产品经理如何绘制高效实用的AI产品架构图。从明确企业六大职能切入,通过三层架构设计实现技术到业务的精准转译。重点解析了各职能模块的AI应用场景、通用场景及核心底层能力,并强调建立"需求-反馈"闭环机制。AI产品专家三桥君为AI产品经理提供了将大模型能力转化为商业价值的系统方法论,助力企业实现AI技术的业务落地与价值最大化。
795 0
|
存储 数据采集 机器学习/深度学习
新闻聚合项目:多源异构数据的采集与存储架构
本文探讨了新闻聚合项目中数据采集的技术挑战与解决方案,指出单纯依赖抓取技术存在局限性。通过代理IP、Cookie和User-Agent的精细设置,可有效提高采集策略;但多源异构数据的清洗与存储同样关键,需结合智能化算法处理语义差异。正反方围绕技术手段的有效性和局限性展开讨论,最终强调综合运用代理技术与智能数据处理的重要性。未来,随着机器学习和自然语言处理的发展,新闻聚合将实现更高效的热点捕捉与信息传播。附带的代码示例展示了如何从多个中文新闻网站抓取数据并统计热点关键词。
869 2
新闻聚合项目:多源异构数据的采集与存储架构