开发者社区> 问答> 正文

分块上传块大小如何选择更高效?

在OSS 的api中描述到单个object的大小限制为5GB,上传大文件时可以采用分块上传,除了最后一块外,每个块的大小必须大于5MB,我想知道的是:
1. 上传的块大小有上限限制吗,是多少?
2. OSS中文件物理存储时分块的大小是多大?
3. 通过调整分块上传块大小是否能提高数据传输效率,块大小如何选择(在带宽足够大的情况下)?

展开
收起
mzoge1990 2015-06-16 08:57:02 16382 0
5 条回答
写回答
取消 提交回答
  • 回2楼deadbeef的帖子
    嗯,感谢回复。刚看了看在线的api文档,的确最小是100KB,我看的是旧的。
    我想知道OSS在收到一个Object或者part的时候还会对其进行分块存储吗,如果还分,那么块大小是多少?

    -------------------------

    回3楼robertzh的帖子
    嗯,我们进行了一下测试,块大小在64M的时候是会好一些。

    -------------------------

    回7楼deadbeef的帖子
    嗯,谢谢关注.看来只能自己再摸索摸索了.
    2015-06-18 11:03:48
    赞同 展开评论 打赏
  • LT是个伪程序员
    可以分块,然后多线程上传,每个分块会返回一个分块的Tag,只需要在合并时维护好分块的Tag列表即可。
    2015-06-18 10:20:03
    赞同 展开评论 打赏
  • 这个需要实际测试的,一般每个块1-5M,好一些吧;
    2015-06-18 09:40:36
    赞同 展开评论 打赏
  • 问答一下问题:
      1. 分块上传,目前支持的块大小最小为100KB。你看到的可能是老的文档,或者某个地方的文档没有更新。如果是后者,请告知,我们可以反馈给官方团队。
      2. 分块上传时,如果带宽等方面没有限制,你可以并发同时上传多个part,这样可以加快上传速度。
      3. 在网络条件不是很稳定时,可以适当减小分块的大小,这样可以提供每块上传的成功率,减少重复上传的数据量。
    引用楼主mzoge1990于2015-06-16 08:57发表的 分块上传块大小如何选择更高效? :
    在OSS 的api中描述到单个object的大小限制为5GB,上传大文件时可以采用分块上传,除了最后一块外,每个块的大小必须大于5MB,我想知道的是:
    1. 上传的块大小有上限限制吗,是多少?
    2. OSS中文件物理存储时分块的大小是多大?
    3. 通过调整分块上传块大小是否能提高数据传输效率,块大小如何选择(在带宽足够大的情况下)?

    ....... [url=http://bbs.aliyun.com/job.php?action=topost&tid=248541&pid=tpc][/url]

    -------------------------

    Re:回2楼deadbeef的帖子
    你问的这个问题属于OSS的内部实现,没办法回答啊。

    引用第5楼mzoge1990于2015-06-18 11:03发表的 回2楼deadbeef的帖子 :
    嗯,感谢回复。刚看了看在线的api文档,的确最小是100KB,我看的是旧的。
    我想知道OSS在收到一个Object或者part的时候还会对其进行分块存储吗,如果还分,那么块大小是多少? [url=http://bbs.aliyun.com/job.php?action=topost&tid=248541&pid=666311][/url]

    2015-06-18 09:36:53
    赞同 展开评论 打赏
  • 回 楼主(mzoge1990) 的帖子
    上传的块每个最大是5GB,一个object最多10000个块。对于大文件可以考虑事先进行切片,然后并发上传,这样可以提高上传速度。
    2015-06-16 10:11:09
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
ECS块储存产品全面解析 立即下载
《全面解析 阿里云节省计划》 立即下载
存储分层企业数据存储类型选择与优化 立即下载