OSS传输工具OSSutil使用介绍

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本篇文章我们重点讲述一下传输工具Ossutil的使用: 若文件总量小于30T则建议使用ossutil,若大于30T建议使用

对象存储OSS是我们平时经常使用的产品,那么对于往OSS上传输数据的工具也是需要经常使用到的,下面介绍几款OSS传输工具的使用方式:

首先先了解一下什么是对象存储OSS:

阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。您可以通过调用 API,在任何应用、任何时间、任何地点上传和下载数据,也可以通过 Web 控制台对数据进行简单的管理。OSS 适合存放任意类型的文件,适合各种网站、开发企业及开发者使用。按实际容量付费真正使您专注于核心业务。

几种OSS传输工具简单介绍:

工具 简介 备注
ossbrowser 图形化的Object管理工具。 支持Windows、Linux、Mac平台。 官方工具。 提供类似Windows资源管理器的功能。用户可以方便的浏览文件、上传下载文件、支持断点续传等。
ossutil 命令行管理工具。提供方便、简洁、丰富的Object管理命令。 官方工具,支持Windows, Linux, Mac平台,不依赖于任何第三方组件,下载后即用不需要安装。
osscmd 命令行管理工具。提供完备的Bucket、object管理命令。 官方工具。基于Python2.5 - 2.7版本,支持多平台。将逐步被ossutil替代,除非需要ossutil不具备的Bucket管理功能外,强烈推荐使用ossutil。
ossfs 挂载bucket到本地文件系统,能够通过本地文件系统操作OSS 上的对象,实现数据的访问和共享。 官方工具。支持Linux平台。
ossftp FTP工具,使用FTP协议来管理OSS的object,可以使用FileZilla、WinSCP、FlashFXP等FTP客户端操作OSS。OSSFTP本质是FTP Server, 接收FTP请求,将对文件、文件夹的操作映射为对OSS的操作。 基于Python2.7及以上,支持Windows、Linux、Mac平台。
ossimport2 数据同步工具。 可以将本地或第三方云存储服务上的文件同步到OSS上。 官方工具。依赖JRE7及以上。支持Windows、Linux平台。

**
本篇文章我们重点讲述一下传输工具Ossutil的使用:
若文件总量小于30T则建议使用ossutil,若大于30T建议使用ossimport
**

Ossutil工具:
1.Ossutil简介
命令行管理工具。提供方便、简洁、丰富的Object管理命令。简单来讲就是通过简单的命令行,即可实现数据往OSS上传输的功能,当然也包括其他的功能。
**
2.下载与安装:**
进入阿里云官网 下载安装包
https://help.aliyun.com/document_detail/50452.html?spm=a2c4g.11186623.6.1054.KQWN6E
111

**3
. 安装使用**

根据您的操作系统选择相应的binary或者压缩包下载后,运行相应的binary(如果binary为不可执行文件,请给binary增加可执行权限:chmod 755 ossutil),即:
linux系统下:

./ossutil

windows系统下有两种方法(以64位系统为例):
1) 解压压缩包,双击运行其中的bat文件,再键入:

ossutil64.exe

2)解压压缩包,cmd进入压缩包中binary所在的目录,键入:

ossutil64.exe

mac系统下:

./ossutilmac64

**
4.配置工具config文件**
在使用访问oss的命令时,需要先配置访问AK,关于AK的更多信息见:RAM和STS介绍
配置ossutil由两种方式:交互式和非交互式。
关于配置命令的更多帮助,请使用ossutil help config查看。
交互式配置ossutil

./ossutil config
1.    $./ossutil config -L ch
2.    该命令创建将一个配置文件,在其中存储配置信息。
3.    
4.    请输入配置文件路径(默认为:/home/admin/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径):
非交互式配置ossutil
./ossutil config -e oss.aliyuncs.com -i your_id -k your_key

1.    配置文件格式:
2.    
3.    [Credentials]
4.    language = CH
5.    endpoint = oss.aliyuncs.com
6.    accessKeyID = your_key_id
7.    accessKeySecret = your_key_secret
8.    stsToken = your_sts_token
9.    outputDir = your_output_dir
10.    [Bucket-Endpoint]
11.    bucket1 = endpoint1
12.    bucket2 = endpoint2
13.    ...
14.    [Bucket-Cname]
15.    bucket1 = cname1
16.    bucket2 = cname2
17.    ...
18.    
19.    SAMPLE
20.    
21.    ossutil config
22.    ossutil config -e oss-cn-hangzhou.aliyuncs.com -c ~/.myconfig
23.    
24.    OPTIONS
25.    
26.    -c, --config-file
27.    ossutil工具的配置文件路径,ossutil启动时从配置文件读取配置,在config命令中,ossutil将配置写入该文件。
28.    
29.    -e, --endpoint
30.    ossutil工具的基本endpoint配置(该选项值会覆盖配置文件中的相应设置),注意其必须为一个二级域名。
31.    
32.    -i, --access-key-id
33.    访问oss使用的AccessKeyID(该选项值会覆盖配置文件中的相应设置)。
34.    
35.    -k, --access-key-secret
36.    访问oss使用的AccessKeySecret(该选项值会覆盖配置文件中的相应设置)。
37.    
38.    -t, --sts-token
39.    访问oss使用的STSToken(该选项值会覆盖配置文件中的相应设置),非必须设置项。
40.    
41.    --output-dir=ossutil_output
42.    指定输出文件所在的目录,输出文件目前包含:cp命令批量拷贝文件出错时所产生的report文件(关于report文件更多信息,请参考cp命令帮助)。默认值为:当前目录下的ossutil_output目录。
43.    
44.    -L CH, --language=CH
45.    设置ossutil工具的语言,默认值:CH,取值范围:CH/EN,若设置成"CH",请确保您的系统编码为UTF-8。

5. 使用案例:
使用环境:
Windows 文件 往 OSS上传输
5.1安装工具包,配置config文件
_20180319094712

**
5.2**
使用命令行进行传输:
若遇到以下错误,则证明配置文件中AK出现错误,再重新检查一遍
333

使用过程中可以添加使用选项实现 提高并行数,断点续传等功能
具体选项请用 ./ossutil或 ./ossutil help 查看命令文档

5.3
传输完毕实例

444

传输过程中可能遇到的问题:

555

上图中显示传输到一半,提示某个文件找不到,于是人工去排查了一下,发下是如下图中的文件:
666

该类文件特点,无法删除,名字中有特殊字符,

原因及解决方式:
1、 文件夹带点或者特殊字符。
右键新建-文本文档-写入下列命令:
DEL /F /A /Q \?%1
RD /S /Q \?%1
另存为"delete.bat",不要双击运行。
【把要删除的文件或者目录拖放到这个bat文件的图标上就可以删除了!】
也可以下载类似文件粉碎机类的软件删除。

2、磁盘有错误。
这个比较简单,右键文件所在盘符,属性,工具,开始检测,勾选自动修复文件系统错误。
3、硬盘有坏道或者分区表错误。
这种情况基本无解,想要修复坏道硬盘的东西全的备份出去。

以上就是ossutil传输工具简单的使用方法,具体更多工具使用细节请进入官方文档查询。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
7月前
|
存储 弹性计算 安全
对象存储OSS快速上手——ossutil工具管理OSS
本实验是对象存储OSS进阶实验。通过本实验,用户可学会如何使用ossutil工具在Linux环境下用命令管理oss,完成文件上传下载等操作。
1170 0
|
存储 边缘计算 缓存
国际阿里云实名账号,请问CDN加速和OSS传输加速有什么区别?
本文主要介绍阿里云对象存储OSS的传输加速功能和CDN加速OSS资源的区别,以便您根据实际业务进行选择。
国际阿里云实名账号,请问CDN加速和OSS传输加速有什么区别?
|
边缘计算 缓存 对象存储
阿里云OSS传输加速和CDN有什么区别?
阿里云对象存储OSS传输加速和阿里云CDN的区别
|
对象存储 Python
Python文件上传Minio和阿里Oss工具 | Python工具
Python文件上传Minio和阿里Oss工具 | Python工具
|
Linux Go 对象存储
ossutil迁移日志文件至阿里云OSS
ossutil支持在Windows、Linux、macOS等系统中运行,您可以根据实际环境下载和安装合适的版本。
550 0
|
弹性计算 Linux Go
阿里云ecs服务器之间大文件迁移利用阿里云oss通过内网传输解决方案
阿里云ecs服务器之间大文件迁移利用阿里云oss通过内网传输解决方案
|
边缘计算 缓存 对象存储
阿里云OSS传输加速和CDN有什么区别?
阿里云对象存储OSS传输加速功能和阿里云CDN有什么区别?事实上是有本质区别的,新手站长网来详细说下OSS传输加速和CDN的区别
|
Java Shell 数据处理
kubernetes部署OSS跨账号复制工具ossimport
生产环境的OSS上有很多数据需要同步到开发环境(帐号不同),每次使用复制很麻烦而且还占用流量。在serverless kubernetes上部署一个pod版的ossimport,实现内网增量复制。
548 0
|
网络协议 专有云 对象存储
OSS 工具之 OSSBrower
浅谈 ossbrower,图形版的操作工具,有控制台的基本功能,可以理解是 ossutil 工具的图形版,适用于一些非技术人员来操作 oss ,但是性能上并不如 ossutil 那么给力。 使用须知 ossbrower 支持断点续传,以及一键暂停和一键恢复; ossbrower 最大支持文件大小.
OSS 工具之 OSSBrower
|
JavaScript 网络协议 Shell
【OSS 排查方案-2】CDN+OSS 基础排查工具
工具说明: CDN+OSS 的服务架构。 目的:当用户遇到 CDN + OSS 投诉问题后,可以先用此工具测试一下基本的测试指标,初步判断问题故障点,同时可以将脚本结果粘贴给阿里云客服更快定位信息。 使用方法:sh check_cdn_oss.sh 域名 请求URL OSS公网域名 Usge: check_cdn_oss.sh www.zhangyb.mobi http://www.zhangyb.mobi/index.html youkou.oss-cn-beijing.aliyuncs.com 如有需求,可提改进意见,工具会继续完善,谢谢。