开发者社区> 问答> 正文

【OSS】如何上传大文件到OSS

通过OSS文件上传工具或者OSS SDK上传超过5GB文件时,存在上传失败或者上传慢的情况,该如何改善呢?

展开
收起
hd4q62obg7msi 2021-11-17 19:50:42 5341 0
1 条回答
写回答
取消 提交回答
  • 通过OSS文件上传工具或者OSS SDK上传超过5GB文件时,存在上传失败或者上传慢的情况

    OSS支持单个文件的大小为0到48.8T。当需要上传大文件或一次性上传较多文件时,若遇到以下两种情况,建议通过SDK或API的分片上传和断点续传、图形化管理工具ossbrowser或者命令行工具ossutil上传文件。

    • 单个文件超过5GB,且无法通过OSS控制台上传、简单上传、表单上传、追加上传的方式上传单个文件。

    • 文件虽然小于5GB,但网络环境较差,经常因网络原因导致连接超时或连接断开等情况,上传容易失败。

    方式一:分片断点续传

    请参考分片上传和断点续传文档进行操作,适用场景如下:

    • 单个文件大小超过5GB。
    • 流式上传:当对文件大小还不确定的情况下,就开始上传。比如视频监控等行业的云录像应用。
    • 恶劣的网络环境:需要断点续传大文件。如手机端,当出现上传失败的时候,可以对失败的分片进行独立的重试,而不需要重新上传其他的分片。
    • 加速上传:要上传到OSS的本地文件很大的时候,可以并行上传多个分片以加快上传速度。

    方式二:使用ossbrowser工具上传

    请参考ossbrowser上传文档进行操作,ossbrowser工具的使用说明如下:

    • ossbrowser支持临时授权码登录。
    • 当前登录ossbrowser的AK拥有RAM的配置操作权限时,可以使用简化Policy授权。
    • 上传、下载文件较多时,可通过修改上传下载的任务数,提高上传、下载速度。
    • ossbrowser默认使用分片上传和断点续传上传文件,上传文件最大不能超过48.8 TB。

    方式三:使用ossutil工具上传

    参考ossutil上传文档进行操作,ossutil工具的使用说明如下:

    • 可以使用ossutil命令行工具的cp命令上传大文件。
    • 可通过--bigfile-threshold 参数控制分片并发上传的文件大小阈值。
    • ossutil上传单个或多个大文件时,可以通过-jobs项和-parallel项,控制并发,优化上传性能。
    • 如果需要上传大批量的文件(包括大文件)到OSS,也可以使用ossimport工具。
    • 当文件数目不是特别多,建议优先使用ossutil。
    2021-11-18 15:32:37
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
问答排行榜
最热
最新

相关电子书

更多
OSS运维进阶实战手册 立即下载
《OSS运维基础实战手册》 立即下载
OSS运维基础实战手册 立即下载