技术分析:云化的主存储功能是否已就绪?

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介:
 
  当诸如亚马逊的S3和EBS这样的服务在十多年前开始出现时,IT经理普遍对云存储持怀疑态度或视为威胁。随着使用云服务的理由逐渐丰富,云也可能用于数据归档,但是出于对安全性、可用性和性能方面的考虑,我相信我不会将主数据放在云上。

今天,对于云存储可以增强或补充企业内部部署已经没有争议。尽管业界尚未完全解决让IT经理头疼的所有问题,但云技术的安全性已取得长足进步,虽然今年二月份刚刚发生了由于操作员的错误而导致亚马逊S3服务宕机几小时的事件。

云存储

云技术的成熟使得它日益成为各种备份、灾难恢复和归档服务存放二级和三级数据的首选目标。而且,我们正在越来越多地把云存储作为存储层次结构中的一层,从而增强主存储的功能。

将存储分层扩展到云端

分层是一种平衡不同应用程序对存储性能、容量以及成本需求的方法。根据数据被访问的频率及相关因素将数据分配到不同的存储类,然后再放置在最符合该类存储的介质之上。

存储分层技术已经实现高度自动化,基于策略的数据放置决策使企业能够创建混合存储架构,可以跨越数据中心甚至一个或多个云提供商的存储介质。

Taneja咨询集团最近的研究表明,已有超过60%的IT从业者正在使用或计划使用某种形式的存储分层。同时,三分之二的受访者已经把至少一部分关键工作负载的存储层扩展到了公有云。将来,云在分层领域发挥的作用会更大。

有利于主存储的云分层

供应商已经推出能够将变冷或不活跃的数据从主存储中移出的产品。与传统的本地存储分层产品不同的是,新产品将公有云作为新的分层,以实现更高的扩展性,更具成本效益地使用存储。

大多数产品都是自动化的,您可以根据数据的访问频率、寿命或其他因素配置策略来管理数据的迁移,从而对主存储的功能进行全面补充和增强。

将云作为单独主存储层(块存储或文件存储)的产品分为两大类:云存储网关和软件定义的存储。

云存储网关

从2010年推出以来,云存储网关已经走过很长的路。它们还经历了几次命名更改,也可称之为云控制器、云集成存储、云缓存设备等。

云存储网关最初专注于低成本云备份或存档,现在则可针对几个不同的主存储和二级存储用例,包括文件同步和共享、协作、基于云的灾难恢复(通过云恢复或本地恢复),以及云内数据分析,此外还可作为横向扩展NAS的云中前端。

云存储网关虽然是针对传统存储阵列的工作负载,但主要是用作高性能本地缓存,或者在存储后端充当位于云存储之前的分层,通常都是以高可扩展性的对象存储的形式存在。它们自动将文件或块协议转换为对象协议。这就使企业内部运行的应用程序能够受益于云存储的可扩展性和弹性,而无需面对旧存储系统与云集成的负担和复杂性。云存储网关是物理或虚拟的设备,并且如果内置了存储时可以替代传统的块或文件存储系统。

用于主存储的云存储网关通常是以闪存缓存的形式存在,一些情况下也直接当作主存储的一层来使用。尽管厂商的缓存算法各有不同,但绝大多数都是在闪存缓存中动态且持续存储那些经常访问的数据,以确保企业内关键应用能够达到其性能目标,并在后台完成将文件或块协议转换为对象存储的操作。本地配置的方式可以防止本地缓存或存储层的刷新而导致关键数据丢失。

选择什么样的云存储网关?

企业开始在市场上寻找能动态调整缓存大小,从而更好地适应特定用例的云存储网关产品。支持主存储功能的缓存可以被调整到100%完全缓存存储在云中的数据,而对支持归档存储的缓存,您也可以只缓存少量云数据。有些还允许您为不同数据集指定相应的高速缓存并分配缓存容量,以满足不同的性能需求和用例。

用于归档冷数据或不活跃数据的网关也能够使主存储受益,它们能够使内部部署系统的性能和容量资源释放出来,从而更有效地支撑主工作负载。

云存储网关产品还应该具有数据缩减功能,例如重复数据删除或压缩等,最大限度地减少对网络性能的影响,并降低云存储数据的容量和成本。去市场上寻找能为特定应用提供重复数据删除和压缩的产品,因为并非所有工作负载都需要这些功能。云存储网关还应该能为存储数据和在处理中的数据提供加密功能,并支持节省空间的快照,本地或云中的数据克隆等数据保护功能。还可以考量诸如动态目录(Active Directory)或轻量级目录访问协议(LDAP)之类的技术,以确保与您当前的环境完全集成。

考察市场上主要供应商的云存储网关产品(例如微软的Azure StorSimple和Dell EMC的CloudArray),确保支持各种主存储用例,例如协作、数据库或虚拟机等。如果您倾向于更具成本效益的横向扩展NAS,可以看看Panzura和Nasuni的产品。如果需要整合远程办公室/分支机构的,可以考虑Ctera Networks的网关设备,它可作为前端阵列使用,在ROBO部署中取代本地主存储。

一点忠告:确保云存储网关具备主存储的某些特定功能,并确保它们能够满足您所关注应用对延迟和IOPS的要求。另外,要选择可以访问多个云服务提供商的网关产品,既要避免潜在的厂商锁定,又要选择最适应您的特定工作负载的提供商。

软件定义的主存储

云存储网关可以将存储拓展到云端,但它们总是假定应用仍然在本地运行。新一轮的软件定义存储(SDS)产品则更进一步,主张主存储的工作负载在数据中心和云之间无缝转移。尽管此类方案的采用仍处在早期阶段,但由于它们能够更充分地利用公有云的可扩展性、弹性和敏捷性,因而被咨询公司Taneja所看好。

厂商一般采用两种架构方法来实现:使用分布式,平台无关的存储平面来创建单一逻辑存储池,跨越本地与云中的所有资源;或者将存储卷以服务的方式在云有云上运行。

当然,如果您在数据中心已经使用对象存储来支持主工作负载,并且已经和一个或多个公有云存储服务(如亚马逊的S3)兼容,那么您可以比较容易地把主存储的工作负载在本地和云端迁进迁出。而要对块和文件的主存储系统实现这一点是非常困难的,我们预计明年将会有所改变。

这些新兴技术目前主要集中于非生产用例,例如基于云的灾难恢复或数据分析系统。考虑到其相对不成熟度,您需要进行彻底的评估,无论纸面上的还是实际测试,以确定它们是否能增强您的主存储工作负载,以及如何做。

三思而后行

利用云存储对您的主存储系统进行补充或增强应满足以下几个方面的要求:

  • 可访问性:根据您的主存储系统用例,您对云端驻留数据的可访问性要求如何? 例如,文件同步,共享与协作需要从几乎任何地方都能访问,而分析型工作负载可能只需从数据中心能访问即可。
  • 安全性:大多数云网关和较新的基于软件的混合存储产品与服务都能对静止数据和在处理数据进行加密,但底层技术会各有不同。此外,无论密钥是由您或由供应商生成,请检查如何进行密钥管理和控制,确保它们得到充分保护。
  • 避免锁定:尽管还是很有可能成为单一供应商平台(如AWS Storage Gateway),但当您决定更换云提供商时,您需要得到多个公有云的支持,以及更有成本效益的数据迁移方案。
  • 数据中心到云的网络功能:评估网络可用性和性能需求,确保您的网络能提供必要的冗余,连接性和带宽。检查存储供应商是否提供重复数据删除或压缩功能,帮助减少带宽使用率和成本。
  • 应用程序性能:根据您准备运行的用例和工作负载,评估出延迟、IOPS及其他性能需求。一旦有厂商产品规格符合您的指标,坚持要求动手测试或原型验证,以确保性能符合预期。
  • 成本:鉴于其极高的可扩展性和易用性,云存储的使用很容易形成习惯,而数据存储和访问的成本可能快速增长。要对可能的公有云提供商,使用他们提供的成本计算器,提前预计每月存储成本,并检查每月帐单,确保仍在估算范围内。另外,寻找并使用工具帮助分配和管理成本。

云化的主存储功能是否已经就绪?

直到最近,云存储的使用者还主要是开发人员,他们从使用便利且即付即用的对象存储服务中获益。而随着云存储网关和一些新兴的混合云软件技术的兴起,一切正在悄然改变,存储管理员开始对主工作负载有效地使用云存储。

如果您认为企业中至少有部分的二级或一级工作负载可以从公有云的可扩展性,弹性和广泛的可访问性中受益,请仔细查阅本文所述的分层和其他存储产品与服务。他们会为您的一个或多个关键用例提供一条通往云端的快速便捷之道。

 
作者:Jeff Byrne
来源:51CTO
目录
相关文章
|
4月前
【Azure 云服务】指标哪去了?在执行 Swap (交换生产部署和Staging部署) 操作后看不见云服务的旧指标
【Azure 云服务】指标哪去了?在执行 Swap (交换生产部署和Staging部署) 操作后看不见云服务的旧指标
|
4月前
|
存储 网络安全 文件存储
就软件研发问题之在创建数据流动时配置的问题如何解决
就软件研发问题之在创建数据流动时配置的问题如何解决
|
7月前
|
数据处理 数据安全/隐私保护
智能推荐映射关系,加速数据标准落地进程
在V4.0版本中,Dataphin推出了智能推荐映射关系功能,用户可以基于内置特征或创建自定义特征,对数据内容进行表示,并将其与数据标准关联,进而智能映射映射关系,尤其在字段分布广泛和命名多变的情况下,可以提高映射的准确性和效率,加速了数据标准实施。
310 0
|
缓存 运维 Java
带你读《2022龙蜥社区全景白皮书》——5.3.4 跨处理器节点内存访问优化
带你读《2022龙蜥社区全景白皮书》——5.3.4 跨处理器节点内存访问优化
191 8
|
缓存 数据挖掘 BI
面试官问你:日亿万级请求日志收集如何不影响主业务?你怎么回复
数据收集 上篇详细讨论了写缓存的架构解决方案,它虽然可以减少数据库写操作的压力,但也存在一些不足。比如需要长期高频插入数据时,这个方案就无法满足,接下来将围绕这个问题逐步提出解决方案。
|
监控 Kubernetes Cloud Native
面对大规模 K8s 集群,如何先于用户发现问题?
怎样才能在复杂的大规模场景中,做到真正先于用户发现问题呢?下面我会带来我们在管理大规模 ASI 集群过程中对于快速发现问题的一些经验和实践,希望能对大家有所启发。
面对大规模 K8s 集群,如何先于用户发现问题?
|
人工智能 运维 算法
|
存储 虚拟化 数据安全/隐私保护