开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

请问怎么上传数据到OSS呢?

已解决

请问怎么上传数据到OSS呢?

展开
收起
felix@ 2023-01-16 19:13:51 603 0
2 条回答
写回答
取消 提交回答
  • 今天也要加油吖~
    采纳回答

    您好,您可以参照这个如何上传数据的视频。

    深度学习算法的数据存储在OSS的Bucket中,因此需要先创建OSS Bucket。建议您将OSS Bucket创建在与深度学习GPU集群相同的地域,从而使用阿里云经典网络进行数据传输,进而使算法运行免收流量费。创建OSS Bucket后,可以在OSS管理控制台创建文件夹、组织数据目录或上传数据。

    2023-01-16 19:14:38
    赞同 展开评论 打赏
  • 通过OSS文件上传工具或者OSS SDK上传超过5 GB的文件时,存在上传失败或者上传慢的情况,您可以按照本文介绍上传大文件到OSS。 上传方式 - OSS支持单个文件的大小为0到48.8T。当您需要上传大文件或一次性上传较多文件时,若遇到以下两种情况,可以采用多种方式上传大文件到OSS。 - 单个文件超过5GB,且无法通过OSS控制台上传、简单上传、表单上传、追加上传的方式上传单个文件。 文件虽然小于5GB,但网络环境较差,经常因网络原因导致连接超时或连接断开等情况,上传容易失败。

    方式一:分片上传或断点续传 适用场景如下: - 单个文件大小超过5 GB。 - 流式上传:当对文件大小还不确定的情况下,就开始上传。比如视频监控等行业的云录像应用。 - 恶劣的网络环境:需要断点续传大文件。如手机端,当出现上传失败的时候,可以对失败的分片进行独立的重试,而不需要重新上传其他的分片。 - 加速上传:要上传到OSS的本地文件很大的时候,可以并行上传多个分片以加快上传速度。

    方式二:使用ossbrowser工具上传 ossbrowser工具的使用说明如下: - ossbrowser支持临时授权码登录。 - 当前登录ossbrowser的AK拥有RAM的配置操作权限时,可以使用简化Policy授权。 - 上传、下载文件较多时,可通过修改上传下载的任务数,提高上传、下载速度。 - ossbrowser默认使用分片上传和断点续传上传文件,上传文件最大不能超过48.8 TB。

    方式三:使用ossutil工具上传 ossutil工具的使用说明如下: - 可以使用ossutil命令行工具的cp命令上传大文件。 - 可通过--bigfile-threshold 参数控制分片并发上传的文件大小阈值。 - ossutil上传单个或多个大文件时,可以通过-jobs项和-parallel项,控制并发,优化上传性能。 - 如果需要上传大批量的文件(包括大文件)到OSS,也可以使用ossimport工具。当文件数目不是特别多,建议优先使用ossutil。

    2023-01-20 22:08:20
    赞同 1 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

热门讨论

热门文章

相关电子书

更多
OSS运维进阶实战手册 立即下载
《OSS运维基础实战手册》 立即下载
OSS运维基础实战手册 立即下载