云存储网关共享透明读写OSS归档文件

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
云备份 Cloud Backup,100GB 3个月
简介: 本文通过具体的例子展示了云存储网关NFS共享所支持的对OSS Bucket里面归档文件的透明读写功能。对于SMB共享虽然不能完全支持透明读写功能,但是也能够帮助用户自动执行解冻过程。

云存储网关提供了NFS/SMB协议的访问接口可以访问阿里云对象存储。阿里云对象存储里面的对象有标准/低频/归档几种类型,这几种类型的存储各有特点,对于写入一次访问很少的数据,归档类型具有最高的性价比。云存储网关后端也支持这几种存储类型从而提高更好的TCO,在利用云存储网关实现数据分层存储里已经介绍了网关对接多种存储类型的实践。OSS归档文件是不支持直接读取的,如果偶尔想要访问一下归档文件,必须首先要执行解冻的操作,操作需要大概60s的时间窗口,体验不是很友好。云存储网关针对NFS共享提供了一种解决方案能够自动帮助用户执行解冻的动作,用户可以像访问正常的文件一样访问归档的文件而不会出现任何出错。下面我们就一起来看一看吧。

实践

我们在网关里面首先创建一个NFS共享,这个共享后端对应一个标准型的OSS Bucket。网关虽然支持直接对接归档Bucket,但是更友好的还是用标准Bucket然后以生命周期的方式来转换存储类型为归档类型。主要是因为文件上传到归档Bucket之后初始类型就是归档文件,然后很多备份软件会新写一个临时文件再重命名的方式来工作,网关对重命名的操作的回放是调用的oss_obj_api来实现的,而这个api要求源obj不能是归档对象,否则需要解冻。所以直接使用归档Bucket有时候并不理想,因为每个重命名动作都可能引起一个文件的解冻,比较理想的还是以生命周期的方式来将一段时间之前的文件转成归档存储。
image.png

下图是对应的OSS Bucket的生命周期相关设置。这里我们设置成了3天之后自动转成归档存储从而降低成本。
ar2.png

最后我们来体验一下通过网关对归档文件的访问。我们在OSS Bucket里面放了一个归档文件archive.txt。
image.png

通过NFS客户端挂载上对应的共享之后,然后对该文件执行一下cat命令进行访问,可以看到完全没有问题。因为归档文件还是有一个解冻的过程,所以感觉访问文件的速度有些慢,这个是无法避免的,其实就是网关自动做了一个解冻的过程。但是在解冻之后数据就会缓存在缓存盘里面了,没有被淘汰之前,即使后端的OSS文件又自动转成了归档类型,应用程序还是能通过缓存盘快速的进行访问。
ar4.png

当前透明读取归档文件功能主要在NFS共享上支持,在SMB共享上是不支持的,主要是NFS协议可以允许长时间的延时。不过针对SMB共享,网关也做了一定优化。虽然SMB共享的话读取归档文件就会碰到下面的错误,但是网关已经自动帮着执行了解冻动作,等几十秒再访问你会发现文件就可以打开了!!!
a5.png

小结

本文通过具体的例子展示了云存储网关NFS共享所支持的对OSS Bucket里面归档文件的透明读写功能。对于SMB共享虽然不能完全支持透明读写功能,但是也能够帮助用户自动执行解冻过程。如果你有这方面的需求,赶紧来试一试吧。

相关实践学习
1分钟 Serverless搭建高性能网盘
本场景将使用阿里云函数计算、文件存储NAS以及开源项目Kodbox,带大家1分钟Serverless搭建个人高性能网盘,网盘可长期使用。
目录
相关文章
|
1月前
|
DataWorks 安全 关系型数据库
DataWorks产品使用合集之同步数据到OSS时,文件的切分单位如何设置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
2月前
|
分布式计算 大数据 MaxCompute
MaxCompute产品使用合集之使用pyodps读取OSS(阿里云对象存储)中的文件的步骤是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
9天前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
10天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在使用MaxCompute进行数据集成同步到OSS时,出现表名和OSS文件名不一致且多了后缀,该如何处理
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
|
9天前
|
分布式计算 DataWorks 数据管理
DataWorks操作报错合集之使用OSS读取CSV文件到ODPS时遇到报错,一般是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
SQL 分布式计算 大数据
MaxCompute产品使用问题之如果oss文件过大,如何在不调整oss源文件大小的情况下优化查询sql
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1月前
|
存储 DataWorks 关系型数据库
DataWorks产品使用合集之在使用数据集成中的同步任务从mysql同步表到oss,存储为csv时,最终生成的文件中没有表头,这个属性可以在哪里配置么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之是否可以对OSS文件进行谓词下推
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1月前
|
文字识别 算法 API
视觉智能开放平台产品使用合集之在调用接口传入的图片URL参数,文件在本地或者非上海地域OSS链接,该怎么办
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。

相关产品

  • 云存储网关
  • 对象存储