开发者社区 > 云存储 > 对象存储OSS > 正文

如何上传大文件到OSS

已解决

如何上传大文件到OSS

展开
收起
哈哈是我 2023-04-11 15:30:53 830 0
3 条回答
写回答
取消 提交回答
  • 官方回答

    通过OSS文件上传工具或者OSS SDK上传超过5 GB的文件时,存在上传失败或者上传慢的情况,您可以按照本文介绍上传大文件到OSS。

    上传方式 单个文件的大小限制为0~48.8 TB。当您需要上传大文件或一次性上传较多文件时,若遇到以下两种情况,可以采用多种方式上传大文件到OSS。

    -单个文件超过5GB,且无法通过OSS控制台上传、简单上传、表单上传、追加上传的方式上传单个文件。

    -文件虽然小于5GB,但网络环境较差,经常因网络原因导致连接超时或连接断开等情况,上传容易失败。

    方式一:分片上传或断点续传

    适用场景如下:

    单个文件大小超过5 GB。

    流式上传:当对文件大小还不确定的情况下,就开始上传。比如视频监控等行业的云录像应用。

    恶劣的网络环境:需要断点续传大文件。如手机端,当出现上传失败的时候,可以对失败的分片进行独立的重试,而不需要重新上传其他的分片。

    加速上传:要上传到OSS的本地文件很大的时候,可以并行上传多个分片以加快上传速度。

    方式二:使用ossbrowser工具上传

    ossbrowser工具的使用说明如下:

    ossbrowser支持临时授权码登录。

    当前登录ossbrowser的AK拥有RAM的配置操作权限时,可以使用简化Policy授权。

    上传、下载文件较多时,可通过修改上传下载的任务数,提高上传、下载速度。

    ossbrowser默认使用分片上传和断点续传上传文件,上传文件最大不能超过48.8 TB。

    方式三:使用ossutil工具上传

    ossutil工具的使用说明如下:

    可以使用ossutil命令行工具的cp命令上传大文件。

    可通过--bigfile-threshold 参数控制分片并发上传的文件大小阈值。

    ossutil上传单个或多个大文件时,可以通过-jobs项和-parallel项,控制并发,优化上传性能。

    如果需要上传大批量的文件(包括大文件)到OSS,也可以使用ossimport工具。

    当文件数目不是特别多,建议优先使用ossutil。

    阿里云对象存储推出全新预留空间产品(Reserved Capacity),购买一年的预留空间,较按量付费最高可节省 114% 的费用。点击了解详情:https://www.aliyun.com/activity/storage/Reserved_Capacity

    2023-04-11 16:57:53
    赞同 展开评论 打赏
  • 大鹏一日同风起,扶摇直上九万里

    你好,一般web控制台上传大文件会出现很多问题, 建议使用命令行工具ossutil,可以支持超过5GB的文件和续传并发等功能。

    2023-04-11 15:54:51
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    通过OSS文件上传工具或者OSS SDK上传超过5 GB的文件时,存在上传失败或者上传慢的情况。

    适用场景

    • 单个文件超过5GB,且无法通过OSS控制台上传、简单上传、表单上传、追加上传的方式上传单个文件。

    • 文件虽然小于5GB,但网络环境较差,经常因网络原因导致连接超时或连接断开等情况,上传容易失败。

    方式一分片上传断点续传

    方式二: 使用ossbrowser工具上传,快速使用ossbrowser

    方式三: 使用ossutil工具上传,文件上传

    2023-04-11 15:46:35
    赞同 展开评论 打赏
问答分类:
相关产品:

对象存储 OSS 是一款安全、稳定、高性价比、高性能的云存储服务,可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等各种使用场景存储任意数量的数据,以及进行任意位置的访问,同时通过丰富的数据处理能力更便捷地使用数据。

相关产品

  • 对象存储
  • 相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载