归档存储OAS下载到本地并上传到OSS中

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,内容安全 1000 次 1年
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: 本文主要介绍,如何从OAS中将数据批量迁移出来,且保存到OSS中

搭建/购买ECS实例

由于下面的步骤中需要使用到python的环境,如服务器无python环境,可自行安装python2.6-python3.0的开发环境。如无python基础,可购买临时测试服务器即可。服务器建议要求如下:

  1. 建议是与您的OAS和OSS相同的区域,例如杭州、上海等(区域建议
  2. 公共镜像建议选择Alibaba Cloud Linux 2.xxx版本(镜像建议image.png

安装OAS SDK

参考文档,https://help.aliyun.com/document_detail/27378.htm

确认服务器环境

服务器等python环境建议是2.6-3.0之间的,如果直接购买“Alibaba Cloud Linux 2.xxx”的公共镜像,python和pip环境是默认安装好的。执行如下命令行,即可看到python的环境,python在2.6-3.0之间即可。

$ python --version


工具安装

oascmd.py 依托于 Python SDK,安装的过程也即 Python SDK 的安装过程,您可选择以下方式的其中一种进行安装。

$ pip install oassdk

执行成功如下图

image.png

同时,在终端或者命令行提示符输入python,进入 Python 控制台

$ python

进入python后,输入如下命令:

$ import oas
$ import oas.ease

quit()回车表示退出

image.png

验证SDK环境

执行oascmd.py -h,得到如下界面,表示SDK已安装成功

$ oascmd.py -h

image.png

批量下载

配置oascmd Config

第一次使用oascmd.py的时候,需要配置归档存储访问信息。

$ oascmd.py config --host=xxx -i <access_id> -k <access_key>

执行成功如下图,注意host按照图片格式,切勿自行添加https:// 或http://

image.png

获取全部文件列表

其中test是oas的Vault名称

$ inventoryId=`oascmd.py createjob oas://test|grep 'job ID:'|awk '{print $6}'`

执行成功如下图

image.png

接着执行如下命令,同样test表示oas的Vault名称

$ oascmd.py fetch oas://test $inventoryId ./inventoryId-$inventoryId

执行成功如下图

image.png

批量文件提交解冻job

执行如下命令行,test表示oas的Vault名称

$ cat ./inventoryId-$inventoryId|grep ArchiveId|tr '"' ' '|awk '{print $3}'|while read archive
$ do 
$   jobid=`oascmd.py createjob oas://test $archive|grep 'job ID:'|awk '{print $6}'`; 
$   echo "oascmd.py fetch oas://test $jobid ./job-$archive"  >> /tmp/joblist
$ done 

执行成功如下图

image.png

等待一分钟

执行完上一步后,需要等待一分钟左右

image.png


下载所有文件

通过python下载所有的文件,命令行如下,

$ cat  /tmp/joblist |while read line; do echo $line; eval $line; done;

出下图,则表示执行成功

image.png

将本地数据通过ossutil上传至OSS

批量将本地服务器数据上传至OSS,可参考,https://help.aliyun.com/document_detail/50452.html,命令行如下:

$ ./ossutil64 cp /本地路径 oss://bucketName/OSS路径/ -r -i AK -k SK -e Endpoint

Endpoint格式如下(区域根据实际bucket而定)

公网:http://oss-cn-hangzhou.aliyuncs.com

内网:http://oss-cn-hangzhou-internal.aliyuncs.com

目录
相关文章
|
存储 关系型数据库 MySQL
MySQL——数据库备份上传到阿里云OSS存储
MySQL——数据库备份上传到阿里云OSS存储
605 0
|
25天前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
|
3月前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
6月前
|
存储 人工智能 Kubernetes
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
阿里云对象存储OSS是一款海量、安全、低成本、高可靠的云存储服务,是用户在云上存储的高性价比选择…
|
7月前
|
存储 Kubernetes 对象存储
StrmVol存储卷:如何解锁K8s对象存储海量小文件访问性能新高度?
如何提升海量文件的数据读取速率,对于AI训练集管理、量化回测、时序日志分析等场景尤为重要。阿里云容器服务(ACK))支持StrmVol类型存储卷,基于底层虚拟块设备及内核态文件系统,显著降低海量小文件访问延迟。
|
7月前
|
存储 Kubernetes 对象存储
StrmVol 存储卷:解锁 K8s 对象存储海量小文件访问性能新高度
本文介绍了阿里云容器服务(ACK)支持的StrmVol存储卷方案,旨在解决Kubernetes环境中海量小文件访问性能瓶颈问题。通过虚拟块设备与内核态文件系统(如EROFS)结合,StrmVol显著降低了小文件访问延迟,适用于AI训练集加载、时序日志分析等场景。其核心优化包括内存预取加速、减少I/O等待、内核态直接读取避免用户态切换开销,以及轻量索引快速初始化。示例中展示了基于Argo Workflows的工作流任务,模拟分布式图像数据集加载,测试结果显示平均处理时间为21秒。StrmVol适合只读场景且OSS端数据无需频繁更新的情况,详细使用方法可参考官方文档。
765 145
|
7月前
|
存储 弹性计算 数据管理
阿里云对象存储oss怎么收费?存储费用+流量收费标准
阿里云对象存储OSS收费标准包含存储费、流量费及请求费等,支持按量付费与包年包月两种模式。标准型本地冗余存储按量付费价格为0.09元/GB/月,包年包月500GB预留空间优惠价118元/年。流量费仅收取公网出方向费用,忙时0.50元/GB,闲时0.25元/GB。更多详情可参考官方页面。
1491 91
|
6月前
|
存储 人工智能 测试技术
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
OSSFS 2.0通过轻量化协议设计、协程化技术及FUSE3低级API重构,实现大文件顺序读写与小文件高并发加载的显著提升,在实际测试中表现出高达数十倍的吞吐量增长。适用于机器学习训练、推理等对高带宽低延迟要求严苛的场景,同时支持静态和动态挂载方式,方便用户在ACK集群中部署使用。
677 34
|
5月前
|
存储 关系型数据库 MySQL
成本直降30%!RDS MySQL存储自动分层实战:OSS冷热分离架构设计指南
在日均订单量超500万的场景下,MySQL数据年增200%,但访问集中在近7天(85%)。通过冷热数据分离,将历史数据迁移至OSS,实现存储成本下降48%,年省72万元。结合RDS、OSS与Redis构建分层架构,自动化管理数据生命周期,优化查询性能与资源利用率,支撑PB级数据扩展。
333 3

热门文章

最新文章