归档存储OAS下载到本地并上传到OSS中

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文主要介绍,如何从OAS中将数据批量迁移出来,且保存到OSS中

搭建/购买ECS实例

由于下面的步骤中需要使用到python的环境,如服务器无python环境,可自行安装python2.6-python3.0的开发环境。如无python基础,可购买临时测试服务器即可。服务器建议要求如下:

  1. 建议是与您的OAS和OSS相同的区域,例如杭州、上海等(区域建议
  2. 公共镜像建议选择Alibaba Cloud Linux 2.xxx版本(镜像建议image.png

安装OAS SDK

参考文档,https://help.aliyun.com/document_detail/27378.htm

确认服务器环境

服务器等python环境建议是2.6-3.0之间的,如果直接购买“Alibaba Cloud Linux 2.xxx”的公共镜像,python和pip环境是默认安装好的。执行如下命令行,即可看到python的环境,python在2.6-3.0之间即可。

$ python --version


工具安装

oascmd.py 依托于 Python SDK,安装的过程也即 Python SDK 的安装过程,您可选择以下方式的其中一种进行安装。

$ pip install oassdk

执行成功如下图

image.png

同时,在终端或者命令行提示符输入python,进入 Python 控制台

$ python

进入python后,输入如下命令:

$ import oas
$ import oas.ease

quit()回车表示退出

image.png

验证SDK环境

执行oascmd.py -h,得到如下界面,表示SDK已安装成功

$ oascmd.py -h

image.png

批量下载

配置oascmd Config

第一次使用oascmd.py的时候,需要配置归档存储访问信息。

$ oascmd.py config --host=xxx -i <access_id> -k <access_key>

执行成功如下图,注意host按照图片格式,切勿自行添加https:// 或http://

image.png

获取全部文件列表

其中test是oas的Vault名称

$ inventoryId=`oascmd.py createjob oas://test|grep 'job ID:'|awk '{print $6}'`

执行成功如下图

image.png

接着执行如下命令,同样test表示oas的Vault名称

$ oascmd.py fetch oas://test $inventoryId ./inventoryId-$inventoryId

执行成功如下图

image.png

批量文件提交解冻job

执行如下命令行,test表示oas的Vault名称

$ cat ./inventoryId-$inventoryId|grep ArchiveId|tr '"' ' '|awk '{print $3}'|while read archive
$ do 
$   jobid=`oascmd.py createjob oas://test $archive|grep 'job ID:'|awk '{print $6}'`; 
$   echo "oascmd.py fetch oas://test $jobid ./job-$archive"  >> /tmp/joblist
$ done 

执行成功如下图

image.png

等待一分钟

执行完上一步后,需要等待一分钟左右

image.png


下载所有文件

通过python下载所有的文件,命令行如下,

$ cat  /tmp/joblist |while read line; do echo $line; eval $line; done;

出下图,则表示执行成功

image.png

将本地数据通过ossutil上传至OSS

批量将本地服务器数据上传至OSS,可参考,https://help.aliyun.com/document_detail/50452.html,命令行如下:

$ ./ossutil64 cp /本地路径 oss://bucketName/OSS路径/ -r -i AK -k SK -e Endpoint

Endpoint格式如下(区域根据实际bucket而定)

公网:http://oss-cn-hangzhou.aliyuncs.com

内网:http://oss-cn-hangzhou-internal.aliyuncs.com

目录
相关文章
|
29天前
|
关系型数据库 分布式数据库 PolarDB
PolarDB常见问题之polardb归档到oss后如何恢复
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
Java API 开发工具
如何用阿里云 oss 下载文件
阿里云对象存储服务(OSS)提供了多种方式下载文件,以下讲解下各种方式的下载方法
758 1
|
3月前
|
存储 安全 API
利用对象存储(OSS)实现内容分发加速 :高效可靠的解决跨境下载延迟问题
利用对象存储(OSS)实现内容分发加速 :高效可靠的解决跨境下载延迟问题
85 2
|
3天前
|
存储 移动开发 前端开发
对象存储oss使用问题之OSS SDK .net 使用下载例程报错如何解决
《对象存储OSS操作报错合集》精选了用户在使用阿里云对象存储服务(OSS)过程中出现的各种常见及疑难报错情况,包括但不限于权限问题、上传下载异常、Bucket配置错误、网络连接问题、跨域资源共享(CORS)设定错误、数据一致性问题以及API调用失败等场景。为用户降低故障排查时间,确保OSS服务的稳定运行与高效利用。
19 0
|
25天前
|
存储 API 开发工具
oss数据解密与下载
阿里云OSS提供服务器端加密(SSE-OSS/SSE-KMS)功能,保证静态数据安全。下载加密对象时,OSS自动解密并返回原始内容。确保下载请求者有相应权限,尤其是使用SSE-KMS时。可通过SDK、图形化工具或编程框架集成下载,发起请求时,OSS自动处理解密,客户端接收解密后的数据。权限、下载方式选择及请求发起是关键步骤。
9 1
|
25天前
|
存储 安全 数据安全/隐私保护
oss数据加密与存储
阿里云OSS提供多种数据加密(SSE-S3, SSE-KMS, SSE-C, CSE-KMS)与存储安全措施,包括服务器和客户端加密、数据在磁盘上加密存储、多重冗余备份、访问控制列表和HTTPS安全传输。KMS支持密钥管理,确保数据静态和传输时的安全。严格的访问策略和身份验证保护资源免受未授权访问,满足高安全性和合规性需求。
35 3
|
1月前
|
Java API PHP
使用oss服务上传/下载对象
使用oss服务上传/下载对象
104 2
|
1月前
|
Android开发 对象存储
OSS对象储存android开发进行下载到本地文件时异步操作失效
android vivo80使用官方示例代码进行文件下载,但是使用oss.asyncGetObject(get, new OSSCompletedCallback<GetObjectRequest, GetObjectResult>()时onSuccess和onFailure不执行
|
2月前
|
域名解析 应用服务中间件 对象存储
解决阿里云oss图片浏览器访问直接下载而不是打开
解决阿里云oss图片浏览器访问直接下载而不是打开
325 0
|
3月前
|
存储 对象存储 Python
Python中使用阿里云OSS存储实现文件上传和下载功能
Python中使用阿里云OSS存储实现文件上传和下载功能
417 2