冷归档数据恢复最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 对象存储OSS冷归档对象的读取需要先恢复出来,才可以读取,本文从用户角度介绍整个恢复的操作过程。

对象存储OSS提供标准、低频访问、归档、冷归档四种存储类型,全面覆盖从热到冷的各种数据存储场景。提供了高持久性的对象存储服务,存储费用在四种存储类型中最低。数据需解冻后访问,解冻时间根据数据大小和选择的解冻模式决定,解冻会产生数据取回费用。适用于需要超长时间存放的极冷数据,例如因合规要求需要长期留存的数据、大数据及人工智能领域长期积累的原始数据、影视行业长期留存的媒体资源、在线教育行业的归档视频等业务场景。本文主要通过解冻的优先级时效性、批量解冻、感知解冻状态几个方面来介绍解冻的整个过程。


1 如何解冻Object

1.1 发起Restore请求进行解冻

使用OSS OpenAPI接口发起RestoreObject请求,冷归档解冻天数最短为1天,最长支持365天,解冻后在此解冻天数内文件均可读。不同解冻优先级的首字节取回时间如下:

  • 高优先级(Expedited):表示1小时内完成解冻。
  • 标准(Standard):表示2~5小时内完成解冻。如果不传入JobParameters节点,则默认为Standard。
  • 批量(Bulk):表示5~12小时内完成解冻。

请求发起后,需要等待以上时间解冻完成。优先级越高,取回价格越贵,一般而言,批量取回流量费用是标准的1/2,是高优先级的1/7。如果不着急的需求,建议使用批量(Bulk)取回


1.2 通过ossutil来批量恢复Object

通过ossutil restore加上-r可以递归把指定目录下的object批量恢复出来,如:

./ossutil restore -r oss://testforcashanghai/abc/   -i XXX -k XXX -e oss-cn-shanghai.aliyuncs.com

image.png

另外可以在使用ossutil时携带xml指定优先级和解冻天数,如:

./ossutil restore -r oss://testforcashanghai/abc/  cold_archive_xml  -i XXX -k XXX -e oss-cn-shanghai.aliyuncs.com

xml格式如下:

<RestoreRequest>
    <Days>3</Days>
    <JobParameters>
        <Tier>Bulk</Tier>
    </JobParameters>
</RestoreRequest>

文件较多时,可以加上-j参数来加大并发任务数。

image.png


2 如何感知解冻过程

2.1 通过事件通知来被动感知解冻完成

第一步,先在mns控制台创建好收消息的队列,注意mns队列所属的区域需要和oss bucket所属的区域一致。

image.png

image.png


第二步,在oss控制台找到事件通知配置入口。

image.png


第三步,创建FinishRestore事件规则

image.png

image.png

 1.事件类型选择FinishRestore;

 2.如果想要接收该bucket所有的object FinishRestore事件,前后缀填空即可;

 3.队列填入在mns同区域创建的queue的名字,当然也可以使用另一种http方式作为接收终端。


第四步,触发restore,验证完整链路。

image.png

假如选用的是最高优先级,SLA承诺时间是1小时。等待一小时后,可以通过mns控制台或API接口查收到如下消息:

image.png

收到此消息表示该文件已经解冻完成,用户可以下载此文件了。


2.2 通过HeadObject来主动感知解冻过程

OSS提供HeadObject OpenAPI来获取单个object描述信息,将在header中返回恢复进程,如:

X-Oss-Restore:ongoing-request="true",表示正在恢复中;

X-Oss-Restore:ongoing-request=”false”, expiry-date=”Sun, 16 Apr 2017 08:12:33 GMT”,表示已经恢复完成,expiry-date是Restore完成后Object进入可读状态的过期时间。

示例

./ossutil stat oss://bucket/object -i xxx -k xxx -e oss-cn-hangzhou.aliyuncs.com

image.png


2.3 通过ListObject来主动感知解冻过程

OSS提供ListObject/ListObjectVersions OpenAPI来枚举object/版本,返回body中将根据以下3种情况返回RestoreInfo信息来表示恢复进程:

  • 如果没有提交Restore或者Restore已经超时,则不返回该字段。
  • 如果已经提交Restore,且Restore没有完成,则返回的RestoreInfo值为ongoing-request=”true”。
  • 如果已经提交Restore,且Restore已经完成,则返回的RestoreInfo值为ongoing-request=”false”, expiry-date=”Sun, 16 Apr 2017 08:12:33 GMT”,其中expiry-date是Restore完成后Object进入可读状态的过期时间。

示例

bucket为bucketA,

分别有三个文件,

aaa,ColdArchive类型,未提交restore,

bbb,ColdArchive类型,提交了restore,还未完成,

ccc,ColdArchive类型,提交了restoer,且restore完成。

请求

GET / HTTP/1.1
Host: bucketA.oss-cn-hangzhou.aliyuncs.com
Date: GMT Date
Authorization: SignatureValue

响应

HTTP/1.1 200 OK
x-oss-request-id: 534B371674E88A4D8906****
Date: Mon, 24 Jun 2020 12:01:27 GMT
Content-Type: application/xml
Content-Length: 1866
Connection: keep-alive
Server: AliyunOSS
<?xml version="1.0" encoding="UTF-8"?>
<ListBucketResult xmlns=”http://doc.oss-cn-hangzhou.aliyuncs.com”>
  <Name>bucketA</Name>
  <Prefix></Prefix>
  <Marker></Marker>
  <MaxKeys></MaxKeys>
  <Delimiter></Delimiter>
  <IsTruncated>false</IsTruncated>
  <Contents>
        <Key>aaa</Key>
        <LastModified>2020-06-22T11:42:32.000Z</LastModified>
        <ETag>"5B3C1A2E053D763E1B002CC607C5A0FE1****"</ETag>
        <Type>Normal</Type>
        <Size>344606</Size>
        <StorageClass>ColdArchive</StorageClass>
        <Owner>
            <ID>0022012****</ID>
            <DisplayName>user-example</DisplayName>
        </Owner>
  </Contents>
  <Contents>
        <Key>bbb</Key>
        <LastModified>2020-06-22T11:42:32.000Z</LastModified>
        <ETag>"5B3C1A2E053D763E1B002CC607C5A0FE1****"</ETag>
        <Type>Normal</Type>
        <Size>344606</Size>
        <StorageClass>Standard</StorageClass>
        <RestoreInfo>ongoing-request="true"</RestoreInfo>
        <Owner>
            <ID>0022012****</ID>
            <DisplayName>user-example</DisplayName>
        </Owner>
  </Contents>
  <Contents>
        <Key>ccc</Key>
        <LastModified>2020-06-22T11:42:32.000Z</LastModified>
        <ETag>"5B3C1A2E053D763E1B002CC607C5A0FE1****"</ETag>
        <Type>Normal</Type>
        <Size>344606</Size>
        <StorageClass>Standard</StorageClass>
        <RestoreInfo>ongoing-request="false", expiry-date="Thr, 24 Mon 2020 12:40:33 GMT"</RestoreInfo>
        <Owner>
            <ID>0022012****</ID>
            <DisplayName>user-example</DisplayName>
        </Owner>
  </Contents>
</ListBucketResult>


相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
存储 运维 数据库
XSAN数据恢复-昆腾存储XSAN数据恢复案例
XSAN数据恢复环境: 昆腾存储,MAC OS操作系统,存放视频类数据(MXF、MOV等格式文件)。 XSAN故障&检测: 将存储空间从XSAN架构迁移到STORNEXT架构后,存储空间中数据全部丢失。 故障存储中一共有9个数据卷:1个META信息卷+8个DATA信息卷。北亚企安数据恢复工程师分析META信息卷&读取其中的元信息,初步判断数据丢失的原因是在迁移存储空间的时候,工作人员误将整个存储系统格式化,导致全部数据丢失。
XSAN数据恢复-昆腾存储XSAN数据恢复案例
|
5月前
|
运维 关系型数据库 分布式数据库
PolarDB产品使用问题之怎么使用冷数据归档
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
7月前
并行传输归档
并行传输归档
34 0
|
存储 数据挖掘 数据库
XSAN数据恢复-数据迁移时误格式化存储系统的XSAN数据恢复案例
XSAN数据恢复环境: 昆腾存储,MAC OS操作系统,划分了9个数据卷(1个META信息卷,8个DATA信息卷),存放视频类数据,MXF、MOV等格式文件。 XSAN故障&分析: 将存储空间从XSAN架构迁移到STORNEXT架构,迁移完成后发现存储空间中数据全部丢失。 北亚企安数据恢复工程师分析META信息卷,读取其中的元信息,发现存储空间中数据丢失的原因是迁移的时候误将整个存储系统格式化。
XSAN数据恢复-数据迁移时误格式化存储系统的XSAN数据恢复案例
|
存储 监控 安全
80%以上是冷数据!昆腾的数据归档之道
中国的冷、温、热数据分别占比80%、15%和5%,冷数据是最多的。而对于冷数据来说,计算不是常态,主要是存储。中国算力中心的“存力”相对不足,中国数据存储产业大有可为。
283 0
80%以上是冷数据!昆腾的数据归档之道
|
Oracle 关系型数据库 数据库
归档模式和非归档模式
1.归档模式 Oracle数据库有联机重做日志,这个日志是记录对数据库所做的修改,比如插入,删除,更新数据等,对这些操作都会记录在联机重做日志里。一般数据库至少要有2个联机重做日志组。当一个联机重做日志组被写满的时候,就会发生日志切换,这时联机重做日志组2成为当前使用的日志,当联机重做日志组2写满的时候,又会发生日志切换,去写联机重做日志组1,就这样反复进行。
113 0
|
存储 对象存储
归档存储
归档存储
393 0

热门文章

最新文章

相关实验场景

更多