云存储网关共享透明读写OSS归档文件

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文通过具体的例子展示了云存储网关NFS共享所支持的对OSS Bucket里面归档文件的透明读写功能。对于SMB共享虽然不能完全支持透明读写功能,但是也能够帮助用户自动执行解冻过程。

云存储网关提供了NFS/SMB协议的访问接口可以访问阿里云对象存储。阿里云对象存储里面的对象有标准/低频/归档几种类型,这几种类型的存储各有特点,对于写入一次访问很少的数据,归档类型具有最高的性价比。云存储网关后端也支持这几种存储类型从而提高更好的TCO,在利用云存储网关实现数据分层存储里已经介绍了网关对接多种存储类型的实践。OSS归档文件是不支持直接读取的,如果偶尔想要访问一下归档文件,必须首先要执行解冻的操作,操作需要大概60s的时间窗口,体验不是很友好。云存储网关针对NFS共享提供了一种解决方案能够自动帮助用户执行解冻的动作,用户可以像访问正常的文件一样访问归档的文件而不会出现任何出错。下面我们就一起来看一看吧。

实践

我们在网关里面首先创建一个NFS共享,这个共享后端对应一个标准型的OSS Bucket。网关虽然支持直接对接归档Bucket,但是更友好的还是用标准Bucket然后以生命周期的方式来转换存储类型为归档类型。主要是因为文件上传到归档Bucket之后初始类型就是归档文件,然后很多备份软件会新写一个临时文件再重命名的方式来工作,网关对重命名的操作的回放是调用的oss_obj_api来实现的,而这个api要求源obj不能是归档对象,否则需要解冻。所以直接使用归档Bucket有时候并不理想,因为每个重命名动作都可能引起一个文件的解冻,比较理想的还是以生命周期的方式来将一段时间之前的文件转成归档存储。
image.png

下图是对应的OSS Bucket的生命周期相关设置。这里我们设置成了3天之后自动转成归档存储从而降低成本。
ar2.png

最后我们来体验一下通过网关对归档文件的访问。我们在OSS Bucket里面放了一个归档文件archive.txt。
image.png

通过NFS客户端挂载上对应的共享之后,然后对该文件执行一下cat命令进行访问,可以看到完全没有问题。因为归档文件还是有一个解冻的过程,所以感觉访问文件的速度有些慢,这个是无法避免的,其实就是网关自动做了一个解冻的过程。但是在解冻之后数据就会缓存在缓存盘里面了,没有被淘汰之前,即使后端的OSS文件又自动转成了归档类型,应用程序还是能通过缓存盘快速的进行访问。
ar4.png

当前透明读取归档文件功能主要在NFS共享上支持,在SMB共享上是不支持的,主要是NFS协议可以允许长时间的延时。不过针对SMB共享,网关也做了一定优化。虽然SMB共享的话读取归档文件就会碰到下面的错误,但是网关已经自动帮着执行了解冻动作,等几十秒再访问你会发现文件就可以打开了!!!
a5.png

小结

本文通过具体的例子展示了云存储网关NFS共享所支持的对OSS Bucket里面归档文件的透明读写功能。对于SMB共享虽然不能完全支持透明读写功能,但是也能够帮助用户自动执行解冻过程。如果你有这方面的需求,赶紧来试一试吧。

相关实践学习
1分钟 Serverless搭建高性能网盘
本场景将使用阿里云函数计算、文件存储NAS以及开源项目Kodbox,带大家1分钟Serverless搭建个人高性能网盘,网盘可长期使用。
目录
相关文章
|
2月前
|
Java API 开发工具
如何用阿里云 oss 下载文件
阿里云对象存储服务(OSS)提供了多种方式下载文件,以下讲解下各种方式的下载方法
1203 1
|
6月前
|
数据处理 对象存储
如何利用 OSS 转换 webp 文件为jpeg
如何利用 OSS 转换 webp 文件为jpeg,OSS 样式使用
1541 1
|
2月前
|
弹性计算 前端开发 小程序
微信小程序上传文件至阿里云OSS直传(java后端签名+前端直传)
当前的通用文件上传方式是通过前端上传到服务器,再由服务器转存至对象存储。这种方式在处理小文件时效率尚可,但大文件上传因受限于服务器带宽,速度较慢。例如,一个100MB的文件在5Mbps带宽的阿里云ECS上上传至服务器需160秒。为解决此问题,可以采用后端签名的方式,使微信小程序直接上传文件到阿里云OSS,绕过服务器中转。具体操作包括在JAVA后端引入相关依赖,生成签名,并在微信小程序前端使用这个签名进行文件上传,注意设置正确的请求头和formData参数。这样能提高大文件上传的速度。
|
7月前
|
开发工具 对象存储 Python
OSS上,如果你想对一个已经存在的文件进行追加写入
OSS上,如果你想对一个已经存在的文件进行追加写入
267 1
|
12天前
|
分布式计算 大数据 MaxCompute
MaxCompute产品使用合集之使用pyodps读取OSS(阿里云对象存储)中的文件的步骤是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2天前
|
存储 Serverless 对象存储
通过FC运行脚本下载文件到OSS
本文介绍了在阿里云中使用函数计算服务(Function Compute)从URL下载文件并存储到OSS(Object Storage Service)的步骤。首先,需开通函数计算服务并创建RAM角色,授权函数计算访问OSS权限。费用详情参考官方计费概述。操作步骤包括:登录OSS控制台,使用公共模板创建执行,配置参数并运行Python脚本,脚本负责从URL下载文件并上传至指定OSS Bucket。执行成功后,文件将出现在目标OSS Bucket中。
19 0
|
12天前
|
分布式计算 Java 大数据
MaxCompute产品使用合集之大数据计算MaxCompute外部表映射了oss中的csv文件,看到"\N"被解析为"N",是什么原因
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
13天前
|
运维 Java Serverless
Serverless 应用引擎产品使用之数据文件(例如sdxl)超过了OSS(对象存储服务)的单个上传大小限制(5GB)如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
20 1
|
24天前
|
SQL 消息中间件 存储
对象存储OSS产品常见问题之恢复文件覆盖如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
43 0
|
24天前
|
存储 数据可视化 安全
对象存储OSS产品常见问题之有几十亿个txt文件,单个4kb,使用oss如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
52 11

相关产品

  • 云存储网关
  • 对象存储