开发者社区> xiaoli_test> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

利用云存储网关实现数据分层存储

简介: 本文介绍了云存储网关结合OSS Bucket的生命周期功能的数据分层存储方案。云存储网关以OSS Bucket为后端存储空间,通过本地存储空间缓存了热点数据,保证了前端应用的本地访问性能,同时又可以利用云上海量的存储空间。
+关注继续查看

数据分层存储是说根据数据的冷热层度选择不同的存储介质来存储相应的数据,从而降低数据的总存储成本。好的数据分层方案,在降低数据存储成本的同时,对前端应用的访问性能影响也不是很大。比如归档存储一些几乎不再访问的数据,就是最简单的一种分层存储方法。当然也有一些高级一点的分层存储技术,比如很多存储阵列都提供自动分层的技术,可以自动检测数据的冷热层度,从而决定是应该将数据放在SSD上存储,还是普通的机械硬盘上。有些技术还会区分不同的SSD,根据SLC/MLC/TLC/QLC自身的特点,决定不同的读写策略。总之,虽然实现的方法有所不同,但是数据分层存储已经成为了一种行之有效的降低数据存储成本的方法。

云存储网关数据分层存储方案:

阿里云的云存储网关产品原生就是一种数据分层存储的架构。云存储网关是一款可以部署在用户IDC和阿里云上的网关产品。它以阿里云对象存储(OSS)为后端存储,为云上和云下应用提供业界标准的文件服务(支持NAS访问协议NFS和SMB)和块存储服务(iSCSI)。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。云存储网关后端存储正是依托于阿里云OSS,所以也保证了稳定可靠。云存储网关利用本地存储空间来缓存用户访问频繁的热数据,保证前端应用的访问性能。用户可以根据自己的数据集灵活的配置本地缓存空间的大小以及缓存类型,使得用户在享受云上海量OSS存储空间的同时,还兼具本地的高速访问性能。所以云存储网关的本地缓存以及后端的OSS存储自然就形成了一个二层的数据存储架构,并且数据在本地缓存和后端OSS Bucket之间的流动都是自动发生的,用户无需任何干预。下面是阿里云文件网关的架构图,块网关具有相似的架构图。

1

阿里云对象存储也具有多种存储类型,提供了另一层面的分层存储能力。阿里云对象存储有标准、低频访问以及归档型三种存储类型,价格也是相应的从高到低。阿里云对象存储支持生命周期功能,用户可以配置具体的策略,在一定的时间之后,标准存储可以自动转换为低频访问类型的存储,最后转为最为经济的归档型存储。

2

我们可以结合云存储网关自身的数据分层能力以及OSS的数据分层能力,形成一个全新的数据分层存储方案。它扩展了原生的OSS的数据分层能力,可以很好的控制成本,同时通过云存储网关的本地存储空间提供缓存能力,带来更好的访问体验。接下来我们通过具体的实践过程,展示一下完整的操作步骤。

配置网关:

云存储网关有两种部署方式,一种是以虚机形式部署在本地数据中心的形态,另一种是直接部署在阿里云线上的形态。两者在部署的方法上虽然有些不同,但是在使用方法上并没有什么大的区别,线上的网关部署更为方便一些。网关侧的配置我们通过线上文件网关来完成示例,我们需要创建一个云存储网关的共享,支持用户通过NAS协议挂载和访问,这个共享对应于一个OSS Bucket。

在开通云存储网关服务之后,用户需要首先创建一个网关集群,网关集群类似一个文件夹的概念。之后我们就可以创建云存储网关了,这里我们创建的是文件网关,它可以实现文件服务器的功能,支持NAS访问协议NFS/SMB供前端应用访问。按照提示一步步走下去,选择合适的规格,以及合适的付费类型就可以了,包年包月的价格相对优惠一些。我们这里创建了一个线上的基础型的文件网关。这个云存储网关已经和对应的VPC打通,VPC里面的ECS后续就可以挂载云存储网关创建出来的共享了。云存储网关的后端是OSS是Bucket,所以相当于直接在Windows和Linux上挂载OSS Bucket并访问了。

3

网关创建成功之后就可以创建共享了。主要有两步配置过程。首先需要配置本地缓存,用户可以根据自己的需求配置缓存盘,SSD的缓存盘性能更好,当然前端应用本地访问的性能也就更好。

4

接下来就是对对应的OSS Bucket创建共享,这里我们创建了一个NFS共享。用户在自己的Linux机器上挂载了这个NFS共享,就相当于用户在Linux上挂载了OSS Bucket。更多的细节以及共享的选项设置参见云存储网关的文件网关用户手册,这里不做过多介绍。我们成功创建的共享如下图所示。

5

块网关可以配置iSCSI卷供前端访问,具体步骤类似,大致也分为创建缓存以及创建卷两个步骤,具体参见块网关用户手册

OSS Bucket生命周期配置:

前文已经提到阿里云对象存储支持标准、低频访问、归档三种存储类型,全面覆盖从热到冷的各种数据存储场景。云存储网关在1.0.41版本之前不支持归档Bucket以及标准Bucket里面的归档文件,但是从1.0.41版本开始,云存储网关的文件网关已经做了相应的支持,可以进一步帮助用户降低成本。这样我们就可以通过设置OSS Bucket里面的生命周期策略进行存储类型的转换,从而利用到OSS的原生的数据分层存储能力。当然我们也可以不用配置生命周期策略,直接对接归档Bucket。配置生命周期的过程很简单,在OSS控制台上很容易就能够找到。

6

归档文件正常是没有办法读取的,需要首先执行解冻,通过网关挂载点访问对应的归档文件有同样的限制,不解冻进行读取会出现IO错误。

总结:

本文介绍了云存储网关结合OSS Bucket的生命周期功能的数据分层存储方案。云存储网关以OSS Bucket为后端存储空间,通过本地存储空间缓存了热点数据,保证了前端应用的本地访问性能,同时又可以利用云上海量的存储空间。另外还可以结合OSS原生的分层存储能力,通过OSS Bucket的生命周期功能转换后端的OSS Bucket的数据存储类型,带来了更高的性价比。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云存储网关的缓存最佳实践
前言 云存储网关支持通过传统的文件协议(SMB/NFS)来访问OSS Bucket里面的数据,并能够通过缓存技术将用户频繁访问的热点数据保留在网关侧的缓存盘里,从而提供给用户更好的访问体验。用户在使用阿里云云存储网关时,经常会碰到一些缓存相关的问题,比如在创建共享时如何选择缓存盘的容量和类型,比如缓存的数据淘汰策略是什么等。
1686 0
C实现简单的本地数据存储
实现的要求。 1:实现一个班级的学生课程和成绩的存储 2:数据可以在本地存储和读取 3:可以计算每个学生的平均成绩 4:计算每个班级的平均成绩 5:每个学生的课程可能不一样 6:每个班的学生人数可能不一样 拿到这个要求我觉得用链表和数组相结合的方式来实现 那Xmind的基本思路如下 c实现本地链表.png 主要想法如下; 1:考虑到每个班级的人数不定,每个人所学的科目不一样。
719 0
混合云存储网关数据下载功能介绍
混合云存储网关,除了能够将用户的数据上传至云端,还能够将用户的数据从云端下载到本地。 本文介绍如何使用混合云存储网关的数据下载功能。
316 0
大话存储系列19——数据容灾
数据备份系统只能保证数据被安全地复制了一份,但是一旦生产系统发生故障,比如服务器磁盘损坏致使数据无法读写、主板损坏造成直接无法开机或者机房火灾等意外事件,我们必须将备份的数据尽快地恢复到生产系统中继续生产,这个动作就叫做容灾。
1281 0
数据湖存储架构选型
阿里巴巴计算平台事业部郑锴为大家带来数据湖存储架构选型的介绍
2780 0
云数据仓库的未来趋势:计算存储分离
随着云时代的到来,数据库也开始拥抱云数据库时代,各类数据库系统在各内外云平台百花齐放,有开源的MySQL、PostgreSQL、MongoDB,传统数据库厂商的SQLServer、Oracle,云厂商自研的Aurora、Redshift、PolarDB、AnalyticDB、AzureSQL等。
754 0
数据结构——栈的顺序存储结构
数据结构——栈的顺序存储结构
4 0
+关注
xiaoli_test
暂无
15
文章
0
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
相关文档: 混合云容灾服务 混合云备份服务 日志服务
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载