混合云存储阵列与云存储网关的协同解决方案

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
日志服务 SLS,月写入数据量 50GB 1个月
简介: 混合云存储阵列与存储网关协同场景,核心是两个产品都具备连接OSS的能力,并能将数据缓存在存储阵列与存储网关上,从而在兼顾性能与成本的同时,给用户的混合云业务提供了最大可能的便捷与弹性。
  • 前言

混合云存储阵列(CSA)于2017年云栖大会发布,上市2年多,已经被基因测序,医疗PACS,影视制作,非编,广电,视频监控等行业和场景的客户广泛采用。混合云存储阵列承载了用户的业务负载的同时,以缓存模式(90%的用户场景)将用户的数据上传到公共云OSS中。

云存储网关(CSG)于2019年6月商业化后,在线上和线下(95%是线上客户),也被众多基因测序,传媒影视制作和互联网客户所采用。

数据上云不是目的,只是用户混合云业务的前提。对于客户而言,如何将云上的数据最大程度的利用起来,是一个非常迫切的需求。云存储网关可以将数据同步到OSS中,混合云存储阵列集成了云存储网关,一个软件服务,一个硬件,这两个产品的组合方案,能解决客户什么样的问题呢?

  1. 存储阵列数据上云,存储网关数据分发、共享、再计算;
  2. 存储阵列用于生产,存储网关用于应急及研发测试;
  3. 存储网关云上备份归档数据到OSS,再通过存储阵列备份数据到线下;
  • 存储阵列数据上云,存储网关数据分发再计算

下图就是一个典型的存储阵列与云存储网关协同解决用户数据上云,再分发,再计算的场景。以视频渲染制作公司为例,在主数据中心,混合云存储阵列承载了几十到上百人的团队的日常工作,包括剪辑,转码,调色,特效渲染,成片输出等工作。当一个项目完成阶段性里程碑时,会有一些素材和成片需要进入下一道工序:不管是将这部分数据交付给客户,或者是位于其他办公地点的下一个团队或同事,都可以通过混合云存储阵列将数据同步到OSS中。在远程办公地点部署的云存储网关,会通过极速同步功能,智能感知到位于上游团队交付的新素材,从而快速完成反向同步,随即开始下一道的流程和工序。

同样,很多视频渲染和基因测序公司,会将本地数据中心作为数据采集和粗加工的产所,再通过混合云存储阵列将采集和粗加工的数据上传到OSS中。在公共云上,云存储网关极速同步拉取最新的数据,依托阿里云提供的弹性计算资源,再进行云上计算业务——将原本线下的渲染或基因测序任务,在云上高效地执行。

用户数据在存储阵列或云存储网关,和云端的流通过程,是经过加密的,确保用户数据绝对安全。最后,混合云存储阵列和云存储网关都能够将用户数据自动归档到归档OSS中;当用户需要访问归档OSS中的数据时,也可以做到透明读取,无需用户再去OSS控制台解冻。整个流程高效流畅。

image


存储阵列数据上云,存储网关数据分发再计算架构图

同样,很多视频渲染和基因测序公司,会将本地数据中心作为数据采集和粗加工的产所,再通过混合云存储阵列将采集和粗加工的数据上传到OSS中。在公共云上,云存储网关极速同步拉取最新的数据,依托阿里云提供的弹性计算资源,再进行云上计算业务——将原本线下的渲染或基因测序任务,在云上高效地执行。

用户数据在存储阵列或云存储网关,和云端的流通过程,是经过加密的,确保用户数据绝对安全。最后,混合云存储阵列和云存储网关都能够将用户数据自动归档到归档OSS中;当用户需要访问归档OSS中的数据时,也可以做到透明读取,无需用户再去OSS控制台解冻。整个流程高效流畅。

  • 存储阵列用于日常生产,存储网关用于应急突发情况

混合云存储阵列具备传统企业存储的特性,如高可用,高性能,安全可靠,同时,可以根据业务需求提供足够多的本地存储空间。因此,存储阵列在客户实际场景中,一般都是用于一些固定项目,负载普遍比较稳定。无论是前端负载,还是后端上云的带宽,都处在比较高的负载。如果再发生一些突发场景,例如:

  1. 一个团队的项目的交付需要紧急上云;
  2. 一个团队需要从云端下载一些之前归档的文件用于验证最近的开发与测试;
  3. 公司因为业务扩张,计划购买一台新的混合云存储阵列,正在等待预算和采购流程;
  4. 混合云存储阵列正在进行扩容或者维护,需要快速应急方案来保证正常的业务生产;

当客户遇到以上这些突发紧急情况的话,原本规划好的存储阵列不一定可以满足临时的需求。这个时候,可以在公共云上创建一个或者多个云存储网关来弹性支持业务需求。

image
存储阵列用于日常生产,存储网关用于突发应急业务

当创建云存储网关,支撑业务临时需求时,需要区分只是数据上云需求,还是需要将云上数据拉会到本地再应用。如果只是数据上云,存储网关即开即用,只需要规划好云存储网关缓存盘的大小和数量即可获得确定的上云性能。但如果是需要拉取云上的数据到本地的情况,取决于文件数目的多少,反向同步需要一定的时间。建议如果有数据下云的需求,在日常可以创建1-2个网关备用,时刻保证存储网关上的数据与OSS bucket内的数据保持一致。

  • 存储网关归档备份数据到OSS,再通过存储阵列备份数据到线下

有很多混合云存储的客户,他们主要的业务系统是在云上,但他们有将数据备份到云下的需求。例如,有个客户运营着几十个数据库系统,每天进行一次备份,并将备份数据存储在OSS上。随着运营的数据库系统的数量的增多和重要性的增加,数据只备份一份已经不能满足业务需求。对这个客户而言,线下再备份一份数据就是一个合理的选择。基于混合云存储阵列的反向同步功能,用户能很方便的将OSS bucket与存储阵列的本地文件夹做关联,及时高效,安全可靠地将数据备份在存储阵列上。当数据需要恢复时,用户再将数据从线下的混合云存储阵列同步到OSS中,再将备份数据恢复到数据库中,完成数据的恢复流程。

image
存储网关归档备份数据到OSS,存储阵列备份数据到线下

  • 总结

以上三个典型的混合云存储阵列与存储网关协同场景,核心是两个产品都具备连接OSS的能力,并能将数据缓存在存储阵列与存储网关上,从而在兼顾性能与成本的同时,给用户的混合云业务提供了最大可能的便捷与弹性。存储阵列与存储网关不同的是存储阵列具备企业级存储的特性与本地存储能力,而云存储网关主要是面向公共云客户的云服务,弹性,按需,灵活。两个产品在不同的客户需求下,可以互相搭配,高效协同地为客户解决线上到线下或者是线下到线上的混合云场景下的数据流动问题。

相关实践学习
1分钟 Serverless搭建高性能网盘
本场景将使用阿里云函数计算、文件存储NAS以及开源项目Kodbox,带大家1分钟Serverless搭建个人高性能网盘,网盘可长期使用。
相关文章
|
9月前
|
网络协议
解决方案-奇安信连接网关失败问题
解决方案-奇安信连接网关失败问题
885 0
|
2月前
|
安全 网络协议 网络安全
【网络连接】ping不通的常见原因+解决方案,如何在只能访问网关时诊断,并修复IP不通的问题
【网络连接】ping不通的常见原因+解决方案,如何在只能访问网关时诊断,并修复IP不通的问题
3197 0
|
1月前
|
负载均衡 Java API
Spring Cloud Gateway 详解:构建高效的API网关解决方案
Spring Cloud Gateway 详解:构建高效的API网关解决方案
33 0
|
数据采集 运维 监控
NLM无线无源采发仪与DLS11网关组成的岩土工程监测解决方案
NLM无线无源采发仪是一种基于无线射频技术的数据采集设备,无需外接电源(内置电池),通过接收外部无线信号实现能量采集和数据传输,广泛应用于工业、安防、环保等领域。在岩土工程监测中,NLM无线无源采发仪可以用于测量地表运动、土体沉降、土压力等参数,减少了布线和维护的成本和难度。
NLM无线无源采发仪与DLS11网关组成的岩土工程监测解决方案
|
存储 容灾 文件存储
带你读《云存储应用白皮书》之39:1. 基于混合云存储阵列的虚拟化平台搭建
带你读《云存储应用白皮书》之39:1. 基于混合云存储阵列的虚拟化平台搭建
158 0
|
存储 人工智能 达摩院
带你读《云存储应用白皮书》之40:2. 视频监控混合云存储解决方案
带你读《云存储应用白皮书》之40:2. 视频监控混合云存储解决方案
294 0
|
数据采集 负载均衡 监控
三种跨域解决方案:HttpClient、注解、网关
三种跨域解决方案:HttpClient、注解、网关
|
运维 安全 网络协议
SOFAGW 网关:安全可信的跨域 RPC/消息 互通解决方案
本文将介绍 SOFAGW 互通网关,首先切入在跨站点通信时碰到的核心痛点,引入 SOFAGW 互通网关的解决方案,会重点说明如何解决在安全、互通、接入成本、高效等几方面问题,介绍 SOFAGW 网关的内部实现架构,展示 SOFAGW 网关达成的业务成果。
SOFAGW 网关:安全可信的跨域 RPC/消息 互通解决方案
|
存储 弹性计算 对象存储
混合云存储网关跨境数据传输最佳实践
在之前的文章中,我介绍了混合云存储网关的传输加速功能。那么传输加速的实际效果到底如何?在跨境传输的时候值不值得使用传输加速?为了找到答案,我们做了一些测试,得到了一些结论,供大家参考。
528 0
混合云存储网关跨境数据传输最佳实践
|
存储 缓存 对象存储
混合云存储网关数据下载功能介绍
混合云存储网关,除了能够将用户的数据上传至云端,还能够将用户的数据从云端下载到本地。 本文介绍如何使用混合云存储网关的数据下载功能。
474 0
混合云存储网关数据下载功能介绍

相关产品

  • 混合云存储