通过OSS文件上传工具或者OSS SDK上传超过5 GB的文件时,存在上传失败或者上传慢的情况,您可以按照本文介绍上传大文件到OSS。 上传方式 - OSS支持单个文件的大小为0到48.8T。当您需要上传大文件或一次性上传较多文件时,若遇到以下两种情况,可以采用多种方式上传大文件到OSS。 - 单个文件超过5GB,且无法通过OSS控制台上传、简单上传、表单上传、追加上传的方式上传单个文件。 文件虽然小于5GB,但网络环境较差,经常因网络原因导致连接超时或连接断开等情况,上传容易失败。
方式一:分片上传或断点续传 适用场景如下: - 单个文件大小超过5 GB。 - 流式上传:当对文件大小还不确定的情况下,就开始上传。比如视频监控等行业的云录像应用。 - 恶劣的网络环境:需要断点续传大文件。如手机端,当出现上传失败的时候,可以对失败的分片进行独立的重试,而不需要重新上传其他的分片。 - 加速上传:要上传到OSS的本地文件很大的时候,可以并行上传多个分片以加快上传速度。
方式二:使用ossbrowser工具上传 ossbrowser工具的使用说明如下: - ossbrowser支持临时授权码登录。 - 当前登录ossbrowser的AK拥有RAM的配置操作权限时,可以使用简化Policy授权。 - 上传、下载文件较多时,可通过修改上传下载的任务数,提高上传、下载速度。 - ossbrowser默认使用分片上传和断点续传上传文件,上传文件最大不能超过48.8 TB。
方式三:使用ossutil工具上传 ossutil工具的使用说明如下: - 可以使用ossutil命令行工具的cp命令上传大文件。 - 可通过--bigfile-threshold 参数控制分片并发上传的文件大小阈值。 - ossutil上传单个或多个大文件时,可以通过-jobs项和-parallel项,控制并发,优化上传性能。 - 如果需要上传大批量的文件(包括大文件)到OSS,也可以使用ossimport工具。当文件数目不是特别多,建议优先使用ossutil。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。