浅析企业私有云中的存储架构

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介:

1 云计算

1.1 云计算

云计算(Cloud Computing)是分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。

云计算是继20世纪80年代大型计算机系统中客户端-服务器连接模式大转变之后的又一次重大的技术革命。用户不再需要了解和知道“云”中基础设施的细节,不必具有相应的专业知识,也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及到通过互联网提供动态化的、易扩展,而且经常是虚拟化的资源。在云计算模式下,用户通常可以通过浏览器或其他Web服务来访问或获得自己所需要的信息、资源。

1.2 云计算的类型

云计算按照部署方式通常分为公有云、私有云和混合云。

公有云(Public Clouds)通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过 Internet 使用,可能是免费或成本低廉的。用户通过互联网访问服务,但并不拥有云计算资源。公有云作为一个支撑平台,还能够整合上游的服务(如增值业务、广告)提供者和下游最终用户,打造新的价值链和生态系统。

私有云(Private Clouds)是为一个组织单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。该组织拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所。

私有云的部署比较适合于有众多分支机构的大型企业或政府部门。随着这些大型企业数据中心的集中化,私有云将会成为他们部署IT系统的主流模式。相比公有云,私有云有如下优势:

(1)能对数据、安全性提供有效控制;

(2)提供更高的服务质量;

(3)充分利用现有硬件资源和软件资源;

(4)不影响现有IT管理的流程。

2 私有云中的存储架构需求

为了适应云计算的海量用户数、扩展灵活、资源池化等特点,建设企业私有云的时候,后台的存储系统架构也必须具备如下技术特征:

(1)采用弹性可伸缩的扩展技术,满足PB级海量存储需求;

(2)采用虚拟化技术,将后端存储资源“虚拟化”;

(3)具备多用户安全共享存储空间的能力;

(4)可向云计算用户提供虚拟的海量存储空间,也就是精简配置;

(5)可对后端存储资源有效管理,杜绝浪费。

2.1 弹性可伸缩的扩展能力

随着企业信息化进程的不断深入,各种应用系统越来越多,各种数据也是快速增长。为了支撑前端庞大的应用,后端的存储系统也必须能够同时具备纵向扩展和横向扩展能力。纵向扩展能力的技术实现通常相对简单,但由于只是在单一的存储节点上进行容量的扩展,纵向扩展方法在存储容量过大、并发访问用户大时,存储节点的前端处理控制单元会成为I/O瓶颈。

为了解决单一存储节点有限的处理能力和高并发用户、海量存储空间之间的矛盾,现在的存储厂家都推出了具有横向扩展能力的存储设备。

2.1.1 Block存储扩展

对于采用Block方式的存储系统一般是通过多控制器方式进行扩展:存储设备通过多控制器网状架构连接,在进行磁盘容量扩展的同时,控制器也得以扩展,保障提供足够的前端带宽和数据转存能力。

2.1.2 NAS存储扩展

对于NAS存储扩展,一是横向扩展:采用独立文件分散放置方式,其特征是文件服务器节点随机将文件存放在各自的存储空间里。这种模式下,NAS系统的文件服务器可做横向扩展,并且每个NAS文件服务器后端存储只负责存放隶属于本文件服务器的文件。尽管每一个文件的读写并没有实现负载均衡,但是当文件数量达到一定规模时,将从宏观上实现整体的负载均衡。这种模式比较适合大量的小文件读写操作。NAS系统扩展的另一方式是将存储条带化,再将文件切分放置于每个文件服务节点后端的存储上,对于需要提供高清视频VOD云服务的业务,通常单个文件都是GB级别,比较适合采用此种NAS系统,因此,当客户端访问该文件时,可以每个文件服务节点均会提供读写服务。

2.2 虚拟化存储技术

虚拟化存储技术是云计算的核心技术之一,虚拟化的主要目的是将存储资源“池化”,系统管理员只关注如何满足用户提出的实际存储容量、数据安全级别、性能等级即可。对于后端存储资源的分配和使用,系统管理员只需要从这个处于云端的存储资源池里提取即可。

2.3 多用户安全共享

共享存储空间的安全从来都是存储系统中一个极其重要的问题,例如有意、无意的删除或者泄密等都是经常出现的问题。同样,云计算中由于其用户位置的不可预知性、浮动性等原因,多用户共享的安全尤为重要,因此必须要有相应的安全隔离措施。目前,比较领先的技术是利用虚拟专用阵列技术,可以将一套物理存储划分为多个虚拟存储,并分配给不同的使用客户。通过对用户和主机的安全的隔离管理,使每个用户群和应用都获得了比以前更高的存储服务级别包括性能、可用性和功能性,而所使用的设施却更少。 由于所有用户都只能访问经过授权的属于自己的虚拟存储域,这样他们就可以独立和安心地管理和监控和使用系统,而不必担心其他用户的行为或被其他用户看到。有意或无意地删除以及未经授权或意外的卷访问都可以得到避免和防止。

2.4 精简配置

对于云计算系统这样的多用户共享存储环境,一个突出的难题是如何精确地为每个用户分配适量的存储空间,即必须满足用户数据持续增长的需求,还要提高存储空间分配的准确率,避免过多分配无用空间而造成的资源浪费。

用户数据的增长具有极大的不可预测性,这就为系统管理员对存储空间的分配带来很大困难。实际情况常常是,系统管理员往往过多地预估存储空间,分配超过实际容量50%甚至更多的空间,当然也有分配空间不够用户使用的情况。由于需要在单一存储上整合多个应用,这种过多分配空间的后果是造成存储资源的大量闲置和浪费。那么具有精简配置技术存储,恰好解决上述难题。精简配置也称之为动态空间软件,只有在数据写入时才消耗物理空间,动态容量功能消除了预留但未使用的空间,并延缓了未来存储的购买需求,减少了存储的成本。

2.5 无用存储空间回收

用户往往不断地写入和删除大量的数据会让精简卷出现闲置空间,即使是大量的小规模的数据写入和删除,也会降低精简卷的效率。实际上,这种数据的逻辑删除并没有释放以前使用的空间,反而会逐渐导致更多隐性的资源浪费。

作为云计算平台,将面临大量的用户群体。因此,必须解决已分配空间中的已删除信息的空间回收问题。具备持续精简功能的存储,可以检测连续对已分配卷进行持续地联线(线速)“精简”,同时保持原有的服务水平,且不中断生产工作负载。做到绝不浪费任何存储空间。当在多用户的云计算环境中,具备持续精简的存储,可以回收大量的无用空间,从而实现资源最大化利用。

3 企业私有云中的存储系统整合

云计算的发展是一种趋势,构建企业的私有云,如何在当今和以后使企业内部应用平台满足云计算的架构,或者在以后的发展中使应用系统架构逐步的趋于、满足云计算概念,一种快捷的方式是马上进入“云时代”,对目前的存储系统进行重新规划,使目前的存储满足统一存储、动态扩展等。

3.1 目前的存储现状

目前在一个典型的企业中,信息技术融入生产、办公、科研一般都有多年的经验和历史,由于受当时技术、思想和硬件条件的限制,在信息平台构建时几乎无一例外地采用了分散存储方式,各种不用应用的数据存放于一个或多个地点,各自拥有不同的存储子系统,并通过不同平台上的应用软件进行访问,企业中的每个应用软件专有地访问它自己的存储设备。分散存储系统具备如下特点:

(1)各个存储系统相对独立,资源无法共享;

(2)从存储底层来看,这些分散存储系统的功能重叠、用途相同。例如,A应用对应的在线存储为A存储;而B应用对应的在线存储又是另外一套B存储。A、B两套存储都作为在线数据块的存储系统,仅仅是服务的对象不同而已。

在企业私有云的建设中,如何整合以上特点的分散存储系统,使之更好地为今后的云计算平台服务。对此目前有许多存储厂商都提供了比较成熟的解决方案和产品,例如SAN虚拟化、存储虚拟化等都可以实现存储资源整合。存储整合的目的是指把企业或者云计算服务商的存储系统进行一定的“处理”, 重新组合成一个单独的物理存储系统或一个存储系统池中,整合后的存储系统相比分散的存储系统具有如下优势:

(1)存储资源统一到一个资源池里,方便系统资源调度,最大化提高系统资源利用率;

(2)统一的管理平台,简化系统管理工作;

(3)集中的存储平台让灾难备份更加简单;

(4)结合诸如虚拟存储分区等技术,让同一存储平台安全可靠地为企业的不同应用提供服务,进而为实现云计算提供技术保障。

3.2 存储整合

3.2.1 SAN虚拟化整合技术

SAN虚拟化是基于存储网络的虚拟化解决方案,可以把存储池集中管理,并在不同的服务器环境中创建异构存储资源虚拟卷,也可在异构存储之间实现快照、容灾等高级功能。

利用SAN虚拟化的存储整合技术资源池、统一,可以把企业已有的多个不同型号,甚至不同品牌的存储系统在SAN的层面整合起来,整合后的存储系统,具有同一的存储的卷管理平台。从而可以实现简化管理、提高资源利用的目的。这种存储整合目前只适合在线数据块级别的光纤通道存储的整合,而对iSCSI架构的存储,目前还没有好的解决方案。当然也存在一定的缺陷:

(1)SAN虚拟化技术仅工作在SAN层面,存放在磁盘阵列上的数据必须完全依赖于SAN虚拟化设备,如果SAN虚拟化设备发生故障,存放在磁盘阵列上的数据将无法被服务器所访问,造成数据的假性丢失。

(2)目前这类产品各自都存有较明显的技术缺陷,如 SVC控制器无法实现负载均衡, 而V-Plex只能对后端存储资源池做RAID1。在企业用户中,SAN虚拟化的用户更是非常稀少,缺乏足够的市场用户使用体验证明。

(3)SAN虚拟化技术,对后端存储的兼容支持比较有限。不少较老型号的磁盘阵列、小品牌盘阵,一般无法兼容而达到整合的目的。

3.2.2 外部存储整合技术

存储整合另一种技术是外部存储整合,一般是某些厂商的高端磁盘阵列兼备的功能,实现方法是利用软件整合其他外部异构磁盘存储设备,可将分散的磁盘存储设备虚拟化成一个存储池。基本原理是把其他异构阵列的LUN通过软件映射到本机磁盘阵列内部,对主机而言,所有的LUN均被视为本机磁盘阵列的一部分。用户无需关心这些LUN到底存在于本机磁盘阵列上还是其他磁盘阵列上。如External Storage XP就是这样的整合方式。企业自己可以利用外部存储整合功能,把现有的各种异构磁盘阵列整合到一起。和SAN虚拟化技术不同,外部存储整合技术,对最终存放数据的磁盘阵列上的卷,并不进行元数据修改,因此,即便是高端磁盘阵列故障,后端外挂的磁盘阵列上的数据仍然可以被服务器访问,没有SAN虚拟化设备那样的假性数据丢失现象。 这种技术明显的不足之处在于:前端的磁盘阵列对后端磁盘阵列的兼容支持比较有限。不少较老型号的磁盘阵列等无法兼容。由于是通过高端磁盘阵列将存储资源池里的LUN转呈给服务器,依赖于软件的实现,当后端存储过多时,前端高端盘阵有限的缓存、端口数、RAID处理芯片其实也会成为系统性能的瓶颈。

3.2.3 纯软件异构存储方案

用纯软件方法是解决存储整合的另一种解决方案,在服务器端安装软件,用软件方式实现卷复制功能,以达到与底层存储无关的目的。由于存储整合的重要特征就是具备将存储资源池化、统一供给、统一管理。这类解决方案只能着力于解决异构存储的容灾,并不是真正意义上的存储整合,如Storage Foundation等。4 企业私有云建设中的存储架构规划建议

存储系统是企业私有云建设中的一个重要组成部分,在企业私有云建设中,需要对已有的存储设备进行调整,并规划以后企业新的存储的架构,一般建议新的存储架构必须具备以下几个特征。

4.1 具有统一存储的功能

一般企业现有的系统架构都同时具有Block 和File两种不同的数据类型,所以,提供统一存储的设备,同时需要支持Block 和 File两种类型,便于企业日后系统灵活的规划和调整。

4.2 具备云存储的特征

既然要作为核心的统一存储池,就需要具备足够的扩展能力,这种扩展除了传统意义上的纵向容量扩展以外,还需要考虑横向扩展,以便在扩展容量的同时扩充性能,而且,分散和组合都是自由实现,不受设备本身的限制和影响。

4.3 具备虚拟化的特性

未来的存储架构必须要去适应虚拟化,也就是存储需要具备虚拟化的特性,这样才可以和虚拟化系统更好地配合,这也可以为存储扩展、规划留下充裕的空间。

5 结束语

尽管云计算早就已经被提了出来,但是直到近年,云计算才在国内的许多行业得以重视。在不经意间,我们所处的世界已经发生了天翻地覆的革新,云计算业务生活中随处可见、触手可及。在建设数字化城市、数字化油田时,企业也应该与时俱进,考虑和规划企业的云计算环境。


本文作者:佚名

来源:51CTO

相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
16天前
|
运维 供应链 安全
SD-WAN分布式组网:构建高效、灵活的企业网络架构
本文介绍了SD-WAN(软件定义广域网)在企业分布式组网中的应用,强调其智能化流量管理、简化的网络部署、弹性扩展能力和增强的安全性等核心优势,以及在跨国企业、多云环境、零售连锁和制造业中的典型应用场景。通过合理设计网络架构、选择合适的网络连接类型、优化应用流量优先级和定期评估网络性能等最佳实践,SD-WAN助力企业实现高效、稳定的业务连接,加速数字化转型。
SD-WAN分布式组网:构建高效、灵活的企业网络架构
|
2天前
|
Kubernetes Cloud Native 云计算
云原生技术深度解析:重塑企业IT架构的未来####
本文深入探讨了云原生技术的核心理念、关键技术组件及其对企业IT架构转型的深远影响。通过剖析Kubernetes、微服务、容器化等核心技术,本文揭示了云原生如何提升应用的灵活性、可扩展性和可维护性,助力企业在数字化转型中保持领先地位。 ####
|
2天前
|
运维 Cloud Native Devops
云原生架构:重塑企业IT的未来####
随着数字化转型浪潮的汹涌,云原生架构凭借其高度灵活、可扩展和高效的特性,正逐步成为企业IT系统的核心。本文将深入探讨云原生架构的核心要素、技术优势以及如何引领企业实现业务创新与敏捷交付。 ####
|
24天前
|
存储 人工智能 算法
精通RAG架构:从0到1,基于LLM+RAG构建生产级企业知识库
为了帮助更多人掌握大模型技术,尼恩和他的团队编写了《LLM大模型学习圣经》系列文档,包括《从0到1吃透Transformer技术底座》、《从0到1精通RAG架构,基于LLM+RAG构建生产级企业知识库》和《从0到1吃透大模型的顶级架构》。这些文档不仅系统地讲解了大模型的核心技术,还提供了实战案例和配套视频,帮助读者快速上手。
精通RAG架构:从0到1,基于LLM+RAG构建生产级企业知识库
|
16天前
|
Cloud Native Devops 持续交付
云原生架构:重塑企业IT的无形之手####
本文旨在探讨云原生架构如何成为推动企业数字化转型的核心动力,它不仅是一种技术升级,更是业务与开发模式的深刻变革。通过剖析云原生的核心要素——微服务、容器化、持续集成/持续部署(CI/CD)、以及DevOps文化,本文揭示了这一架构如何提升系统的弹性、可扩展性和敏捷性,为企业在竞争激烈的市场环境中赋予快速响应和创新的能力。不同于传统综述,本文将以一个虚构案例贯穿始终,直观展示云原生架构从理论到实践的转化过程,为读者提供一幅生动的技术蓝图。 --- ###
|
1月前
|
运维 Cloud Native 安全
云原生架构:企业数字化转型的新引擎##
【10月更文挑战第2天】 在当今数字化浪潮中,云原生架构以其独特的优势成为企业实现高效、灵活和创新的核心驱动力。本文深入探讨了云原生的概念、核心技术如容器化、微服务和DevOps等,并分析了这些技术如何共同作用,推动企业在云平台上实现快速迭代、弹性扩展和资源优化。同时,文章还阐述了云原生在实际应用中面临的挑战及相应的解决策略,为企业的数字化转型提供全面而深入的指导。 ##
49 17
|
24天前
|
存储 监控 分布式数据库
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
本文介绍了百亿级数据存储架构的设计与实现,重点探讨了ElasticSearch和HBase的结合使用。通过ElasticSearch实现快速检索,HBase实现海量数据存储,解决了大规模数据的高效存储与查询问题。文章详细讲解了数据统一接入、元数据管理、数据一致性及平台监控等关键模块的设计思路和技术细节,帮助读者理解和掌握构建高性能数据存储系统的方法。
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
|
27天前
|
运维 Cloud Native 持续交付
探索云原生架构:企业数字化转型的新引擎
在当今数字化浪潮中,云原生架构以其独特的优势成为企业转型的关键。它通过容器化、微服务、DevOps和持续交付等技术,使企业能够快速响应市场变化,实现应用的高效开发、部署和运维。本文将深入探讨云原生的概念、核心技术及其在现代IT环境中的重要性。
|
1月前
|
Kubernetes 监控 Cloud Native
探索云原生架构:企业数字化转型的新引擎
【10月更文挑战第5天】 在当今数字化浪潮中,云原生架构以其独特的优势成为企业实现高效、灵活和可扩展的关键。本文将深入探讨云原生的核心概念、关键技术以及实际应用案例,揭示其在推动企业数字化转型中的重要作用。
34 6
|
27天前
|
运维 Kubernetes Cloud Native
探索云原生架构:企业数字化转型的新引擎
【10月更文挑战第9天】 在当今数字化浪潮中,云原生架构以其独特的优势成为企业实现高效运营和快速创新的关键。本文将深入探讨云原生的核心概念、关键技术以及实际应用案例,揭示其如何助力企业加速数字化转型步伐。通过对云原生技术的剖析,我们将看到这一新兴架构是如何重新定义软件开发、部署和运维模式的,进而推动企业在激烈的市场竞争中脱颖而出。
下一篇
无影云桌面