天池DSW,怎样上传大文件?

为了上传一个1.5GB的数据集，您可以参考以下步骤和建议：

上传方式选择

• OSS上传：鉴于文件大小为1.5GB，推荐使用阿里云对象存储服务（OSS）的上传功能。OSS支持大文件上传，并且适合网络环境不稳定的情况，确保上传稳定性和效率。

具体操作指南

1. 前提条件确认

   • 确保您已创建或拥有目标OSS Bucket的访问权限。
   • 检查您的账号具备oss:PutObject等必要的OSS操作权限。

2. 准备数据

   • 根据数据类型，将数据整理为支持的格式，如.csv, .xlsx, 或 .manifest 文件，或针对特定类型数据（如图像、视频、音频）直接准备文件夹。

3. 执行上传

   • 通过控制台：
     1. 登录PAI控制台，进入对应工作空间。
     2. 选择数据准备 > 智能标注（iTAG），点击上传数据。
     3. 选择OSS上传方式，配置Endpoint、OSS Bucket及文件路径。
     4. 输入或粘贴您的OSS链接地址，单击授权检测并上传。
   • 或使用OSS工具：
     • 利用阿里云提供的ossutil命令行工具或SDK进行分片上传，这适用于大文件且能提高上传速度与稳定性。

4. 注意事项

   • 文件格式与限制：确保文件符合OSS的格式要求，注意单个zip文件大小不能超过2GB，若超过需分包上传。
   • 分片上传：对于大于5GB的文件，虽然本例中不适用，但了解此选项对处理更大文件有帮助。OSS支持最大48.8TB的文件上传，利用分片上传机制可以高效处理超大文件。

后续操作

• 完成上传后，根据需要在相应平台上（如PAI或DataV）创建或管理数据集，进行后续的标注、分析或模型训练等操作。

综上所述，采用OSS上传方式是处理1.5GB数据集的有效途径，确保了上传过程的稳定性和效率。请按照上述指导进行操作，并留意各环节的具体要求以顺利完成数据集的上传任务。