云存储网关共享透明读写OSS归档文件

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 本文通过具体的例子展示了云存储网关NFS共享所支持的对OSS Bucket里面归档文件的透明读写功能。对于SMB共享虽然不能完全支持透明读写功能,但是也能够帮助用户自动执行解冻过程。

云存储网关提供了NFS/SMB协议的访问接口可以访问阿里云对象存储。阿里云对象存储里面的对象有标准/低频/归档几种类型,这几种类型的存储各有特点,对于写入一次访问很少的数据,归档类型具有最高的性价比。云存储网关后端也支持这几种存储类型从而提高更好的TCO,在利用云存储网关实现数据分层存储里已经介绍了网关对接多种存储类型的实践。OSS归档文件是不支持直接读取的,如果偶尔想要访问一下归档文件,必须首先要执行解冻的操作,操作需要大概60s的时间窗口,体验不是很友好。云存储网关针对NFS共享提供了一种解决方案能够自动帮助用户执行解冻的动作,用户可以像访问正常的文件一样访问归档的文件而不会出现任何出错。下面我们就一起来看一看吧。

实践

我们在网关里面首先创建一个NFS共享,这个共享后端对应一个标准型的OSS Bucket。网关虽然支持直接对接归档Bucket,但是更友好的还是用标准Bucket然后以生命周期的方式来转换存储类型为归档类型。主要是因为文件上传到归档Bucket之后初始类型就是归档文件,然后很多备份软件会新写一个临时文件再重命名的方式来工作,网关对重命名的操作的回放是调用的oss_obj_api来实现的,而这个api要求源obj不能是归档对象,否则需要解冻。所以直接使用归档Bucket有时候并不理想,因为每个重命名动作都可能引起一个文件的解冻,比较理想的还是以生命周期的方式来将一段时间之前的文件转成归档存储。
image.png

下图是对应的OSS Bucket的生命周期相关设置。这里我们设置成了3天之后自动转成归档存储从而降低成本。
ar2.png

最后我们来体验一下通过网关对归档文件的访问。我们在OSS Bucket里面放了一个归档文件archive.txt。
image.png

通过NFS客户端挂载上对应的共享之后,然后对该文件执行一下cat命令进行访问,可以看到完全没有问题。因为归档文件还是有一个解冻的过程,所以感觉访问文件的速度有些慢,这个是无法避免的,其实就是网关自动做了一个解冻的过程。但是在解冻之后数据就会缓存在缓存盘里面了,没有被淘汰之前,即使后端的OSS文件又自动转成了归档类型,应用程序还是能通过缓存盘快速的进行访问。
ar4.png

当前透明读取归档文件功能主要在NFS共享上支持,在SMB共享上是不支持的,主要是NFS协议可以允许长时间的延时。不过针对SMB共享,网关也做了一定优化。虽然SMB共享的话读取归档文件就会碰到下面的错误,但是网关已经自动帮着执行了解冻动作,等几十秒再访问你会发现文件就可以打开了!!!
a5.png

小结

本文通过具体的例子展示了云存储网关NFS共享所支持的对OSS Bucket里面归档文件的透明读写功能。对于SMB共享虽然不能完全支持透明读写功能,但是也能够帮助用户自动执行解冻过程。如果你有这方面的需求,赶紧来试一试吧。

目录
相关文章
|
6月前
|
Web App开发 监控 安全
OSS客户端签名直传实践:Web端安全上传TB级文件方案(含STS临时授权)
本文深入解析了客户端直传技术,涵盖架构设计、安全机制、性能优化等方面。通过STS临时凭证与分片上传实现高效安全的文件传输,显著降低服务端负载与上传耗时,提升系统稳定性与用户体验。
578 2
|
10月前
|
消息中间件 监控 数据挖掘
【有奖实践】轻量消息队列(原 MNS)订阅 OSS 事件实时处理文件变动
当你需要对对象存储 OSS(Object Storage Service)中的文件变动进行实时处理、同步、监听、业务触发、日志记录等操作时,你可以通过设置 OSS 的事件通知规则,自定义关注的文件,并将 OSS 事件推送到轻量消息队列(原 MNS)的队列或主题中,开发者的服务即可及时收到相关通知,并通过消费消息进行后续的业务处理。
212 93
|
存储 API Swift
Ceph Reef(18.2.X)之Swift操作对象存储网关
这篇文章详细介绍了Ceph Reef(18.2.X)中通过Swift API操作对象存储网关的方法,包括创建用户、子用户、配置环境变量、以及使用swift命令行工具进行存储桶和对象的管理。
189 7
Ceph Reef(18.2.X)之Swift操作对象存储网关
|
存储 弹性计算 缓存
云存储网关-高可用文件网关基本介绍
本文介绍云存储网关新推出的高可用文件网关使用方法及其架构原理。通过选择“高可用”选项,用户可在不同可用区部署网关,避免单点故障。文章详细描述了创建网关、配置虚拟挂载IP及缓存盘、创建共享等步骤,并解释了高可用架构如何通过数据复制和故障切换确保服务连续性和低延迟访问。
264 4
|
存储 对象存储
radosgw高可用对象存储网关实战指南
关于radosgw高可用对象存储网关的实战指南,涵盖了从基本概念到具体操作案例,再到架构设计和使用技巧的全面介绍。
379 6
|
对象存储 Python
Ceph Reef(18.2.X)之python操作对象存储网关
这篇文章介绍了如何在Ceph Reef(18.2.X)环境中使用Python操作对象存储网关(rgw),包括环境搭建、账号创建、使用s3cmd工具以及编写和测试Python代码。
201 3
|
文字识别 算法 API
视觉智能开放平台产品使用合集之上传素材文件不在同一地域的OSS,怎么上传多张图片
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
170 2
|
存储 运维 Serverless
函数计算产品使用问题之OSS触发器是否可以只设置文件前缀
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

相关产品

  • 云存储网关
  • 对象存储