【答疑】对象存储OSS常见问题解答(工具类2)-阿里云开发者社区

开发者社区> 阿里云存储服务> 正文

【答疑】对象存储OSS常见问题解答(工具类2)

简介: 1.用户咨询使用ossutil cp下载下来的文件,有什么办法可以证明和OSS上的源文件完全一致,没有出现数据丢失和更改?解答:默认情况下,ossutil 进行数据传输时都会打开 crc64 校验,可以在上传/下载/复制时使用 --disable-crc64 选项关闭 crc64 校验。

1. 某外部用户咨询使用ossutil cp下载下来的文件,有什么办法可以证明和OSS上的源文件完全一致,没有出现数据丢失和更改?

解答:默认情况下,ossutil 进行数据传输时都会打开 crc64 校验,可以在上传/下载/复制时使用 --disable-crc64 选项关闭 crc64 校验。
详见官网说明:https://help.aliyun.com/document_detail/50561.html
github地址: https://github.com/aliyun/ossutil

2. 用户咨询./ossutil64 cp ./ oss://arcelonfile/ -r --include COMPLETE_DATA_BACKUP*中 include的含义。

解答:--include 相当于一个正则匹配,会把所有包含这个规则的文件全部过滤出来。过滤参数包括 include/exclude,可以批量操作符合指定条件的文件。
详见官网说明:https://help.aliyun.com/document_detail/50561.html
github地址: https://github.com/aliyun/ossutil

3. 客户使用ossimport从本地迁移大文件(112G)不成功,小文件却可以成功。

解答:目前ossimport对单个传输文件的大小限制为5GB。同时ossimport支持multipart方式,配置一下可以支持大文件的。
官网地址:https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11186623.6.1322.39fd7a29gelnYh

4. 有用户发现使用ossutil(windows)文件下载不全,bucket目录下有N个文件,但是只能下载小于N个的文件。

解答:因为windows平台文件名称是不区分大小,该用户bucket下的有一些文件的文件名相同,只存在大小写差异,下载时会覆盖掉。同样bucket下的所有文件在linux平台下是可以全部下载的。

5. ossfs使用rsync命令拷贝文件会报错。

解答:ossfs 并没有完全实现POSIX的所有文件语义,所以存在一定局限性。目前对cp,mv这些基础文件操作命令时可以支持的,但对于rsync还是有一定概率会出现问题。推荐使用ossutil进行大文件的上传和下载。
官网地址:https://help.aliyun.com/document_detail/101176.html?spm=a2c4g.11186623.6.1338.44354507dFK5aW

6. 客户使用ossfs上传单个500G文件, 在100G左右总是停止不前,试了两次都没有成功,也没有报错 ossfs在后台正常跑

解答:ossfs 上传大文件时,是通过分片来上传的。分片大小默认为 10MB,分片最大数量为1000个。所以在默认参数下,只能上传100G的文件。解决办法是通过修改 -o multipart_size=xxx,以支持更大的size,其中xxx 单位为MB,比如要修改为每个切片为30M,该参数为 -o multipart_size=30
官网地址:https://help.aliyun.com/document_detail/101176.html?spm=a2c4g.11186623.6.1338.44354507dFK5aW

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

官方博客
链接