归档存储OAS下载到本地并上传到OSS中

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文主要介绍,如何从OAS中将数据批量迁移出来,且保存到OSS中

搭建/购买ECS实例

由于下面的步骤中需要使用到python的环境,如服务器无python环境,可自行安装python2.6-python3.0的开发环境。如无python基础,可购买临时测试服务器即可。服务器建议要求如下:

  1. 建议是与您的OAS和OSS相同的区域,例如杭州、上海等(区域建议
  2. 公共镜像建议选择Alibaba Cloud Linux 2.xxx版本(镜像建议image.png

安装OAS SDK

参考文档,https://help.aliyun.com/document_detail/27378.htm

确认服务器环境

服务器等python环境建议是2.6-3.0之间的,如果直接购买“Alibaba Cloud Linux 2.xxx”的公共镜像,python和pip环境是默认安装好的。执行如下命令行,即可看到python的环境,python在2.6-3.0之间即可。

$ python --version


工具安装

oascmd.py 依托于 Python SDK,安装的过程也即 Python SDK 的安装过程,您可选择以下方式的其中一种进行安装。

$ pip install oassdk

执行成功如下图

image.png

同时,在终端或者命令行提示符输入python,进入 Python 控制台

$ python

进入python后,输入如下命令:

$ import oas
$ import oas.ease

quit()回车表示退出

image.png

验证SDK环境

执行oascmd.py -h,得到如下界面,表示SDK已安装成功

$ oascmd.py -h

image.png

批量下载

配置oascmd Config

第一次使用oascmd.py的时候,需要配置归档存储访问信息。

$ oascmd.py config --host=xxx -i <access_id> -k <access_key>

执行成功如下图,注意host按照图片格式,切勿自行添加https:// 或http://

image.png

获取全部文件列表

其中test是oas的Vault名称

$ inventoryId=`oascmd.py createjob oas://test|grep 'job ID:'|awk '{print $6}'`

执行成功如下图

image.png

接着执行如下命令,同样test表示oas的Vault名称

$ oascmd.py fetch oas://test $inventoryId ./inventoryId-$inventoryId

执行成功如下图

image.png

批量文件提交解冻job

执行如下命令行,test表示oas的Vault名称

$ cat ./inventoryId-$inventoryId|grep ArchiveId|tr '"' ' '|awk '{print $3}'|while read archive
$ do 
$   jobid=`oascmd.py createjob oas://test $archive|grep 'job ID:'|awk '{print $6}'`; 
$   echo "oascmd.py fetch oas://test $jobid ./job-$archive"  >> /tmp/joblist
$ done 

执行成功如下图

image.png

等待一分钟

执行完上一步后,需要等待一分钟左右

image.png


下载所有文件

通过python下载所有的文件,命令行如下,

$ cat  /tmp/joblist |while read line; do echo $line; eval $line; done;

出下图,则表示执行成功

image.png

将本地数据通过ossutil上传至OSS

批量将本地服务器数据上传至OSS,可参考,https://help.aliyun.com/document_detail/50452.html,命令行如下:

$ ./ossutil64 cp /本地路径 oss://bucketName/OSS路径/ -r -i AK -k SK -e Endpoint

Endpoint格式如下(区域根据实际bucket而定)

公网:http://oss-cn-hangzhou.aliyuncs.com

内网:http://oss-cn-hangzhou-internal.aliyuncs.com

目录
相关文章
|
3月前
|
存储 关系型数据库 MySQL
MySQL——数据库备份上传到阿里云OSS存储
MySQL——数据库备份上传到阿里云OSS存储
168 0
|
15天前
|
存储 弹性计算 数据管理
阿里云对象存储OSS收费标准,存储、流量和请求等多个计费项
阿里云对象存储OSS提供按量付费与包年包月两种计费方式,涵盖存储、流量、请求等费用。标准存储按量付费0.09元/GB/月,包年包月40GB起售,价格9元/年。公网流量出方向收费,内网及上传免费。具体费用视使用情况而定,详情见官网。
127 0
|
2月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
150 9
|
3月前
|
存储 JavaScript 前端开发
Vue中实现图片上传,上传后的图片回显,存储图片到服务器 【使用对象存储OSS】
这篇文章介绍了在Vue中实现图片上传到阿里云OSS对象存储服务的完整流程,包括服务端签名直传的前提知识、后端设置、前端组件封装以及图片上传和回显的效果展示。
|
4月前
|
存储 弹性计算 监控
建设云上稳定性问题之为什么要在云效平台创建发布流水线并将源代码编译环节替换为从OSS下载构建部署物
建设云上稳定性问题之为什么要在云效平台创建发布流水线并将源代码编译环节替换为从OSS下载构建部署物
|
3月前
|
存储 Java 关系型数据库
实时计算 Flink版产品使用问题之以jar包方式同步数据是否需要定义存储oss的位置
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
存储 DataWorks 关系型数据库
DataWorks产品使用合集之在使用数据集成中的同步任务从mysql同步表到oss,存储为csv时,最终生成的文件中没有表头,这个属性可以在哪里配置么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
5月前
|
存储 分布式计算 大数据
MaxCompute产品使用合集之是否支持创建OSS外部表为分区表,并访问OSS上以分区方式存储的数据
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5月前
|
JSON 运维 Serverless
函数计算产品使用问题之如何实现数据的读取和修改,而不需要每次都从OSS下载完整的数据
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
5月前
|
Java 对象存储
阿里云OSS上传下载文件java
阿里云OSS上传下载文件java
351 0