开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

PAI上传大文件怎么传啊?直接拖太慢了。

PAI上传大文件怎么传啊?直接拖太慢了。

展开
收起
嘟嘟嘟嘟嘟嘟 2024-01-09 07:31:35 155 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    当你需要上传大文件至PAI时,有几种方法可以考虑:

    1. 使用ossutil工具:如果你要上传或下载超过10GB的大数据文件,推荐使用OSS的ossutil工具将本地文件上传到OSS存储空间。然后,你可以将OSS创建为数据集并挂载到DSW实例中,实现在DSW实例中直接读取OSS数据。

    2. 在ModelScope的PAI-DSW中上传文件夹:首先,登录到PAI-DSW的Web界面,然后在左侧导航栏中选择要上传文件夹的工作区。接着,在工作区中点击右上角的“上传”按钮,弹出对话框后选择“文件夹”选项,最后点击“选择文件夹”按钮进行上传。

    3. 利用DSW Terminal中的ossutil命令:你可以在DSW Terminal中下载安装ossutil,并完成ossutil的配置,然后就可以通过ossutil命令实现文件的上传和下载。

    2024-01-09 14:52:31
    赞同 展开评论 打赏
  • 如果你觉得直接拖动上传大文件太慢,可以考虑以下几种方法:
    1.使用传输工具:可以考虑使用如QQ、微信、云盘等工具进行大文件传输。这些工具通常都有大文件传输的功能,而且速度较快。
    2.分片上传:如果你需要上传的文件非常大,可以考虑将其分成多个小文件进行上传。这样可以大大提高上传的速度。
    3.压缩文件:在上传大文件之前,可以先将文件进行压缩,然后再上传。这样可以在一定程度上减少上传时间。
    4.使用FTP(文件传输协议):如果你可以访问到目标服务器,可以考虑使用FTP来进行大文件上传。FTP通常比直接拖动更快。
    5.优化网络环境:确保你的网络环境良好,网络速度足够快,这样可以提高上传速度。

    2024-01-09 11:15:47
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,在阿里云PAI上传大文件时,直接拖拽上传可能会比较慢,可以尝试以下方法来加速上传:

    1. 使用阿里云云盘:首先将大文件上传到阿里云云盘,然后通过PAI上的命令行工具或者脚本将文件从云盘中复制到PAI上。

    2. 使用命令行工具或脚本:可以使用命令行工具(如ossutil)或脚本(如Python中的OSS SDK)来上传大文件。

    3. 断点续传:对于非常大的文件,可以考虑使用断点续传的方式上传,即将文件分成多个部分进行上传,并在上传失败后可以从上次中断的地方继续上传。

    这里需要注意一下,以上方法可能根据具体使用情况和阿里云产品的配置有所不同,请根据实际情况选择最适合的方法来加速上传大文件。

    2024-01-09 08:53:08
    赞同 展开评论 打赏

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
    基于Spark的大规模机器学习在微博的应用 立即下载