开发者社区> 问答> 正文

分享:OSS在多线程并发上传的测速

近期我们一直在测试这个多线程并发上传的小功能模块的集成,这里顺便把对OSS并发上传的速度/速率的测试结果分享一下,说的不对的地方,请大家批评指正一下!(测试描述的速度为大B单位)

以下测试过程,采用的工具是我们“OSS客户端”的大文件分块上传模块,本功能模块在开发过程中,多个问题得到阿里云工程师的技术支持,这里表示非常感谢!


(1)内网测试,分别采用杭州和青岛两个节点的ECS,通过内网连接上传测试;
(2)外网测试,则在天津联通百M光纤专线环境下测试,但是该光纤有部分业务,所以最大峰值我只能用到10M左右;

总体感觉青岛节点的性能比杭州的要好不少,但是鉴于测试所在地的网络情况和时间点繁忙情况,测试结果仅供大家参考。


据了解OSS是没有限制并发数(这个从外网可以看出来),但是内网几乎无法超越30M,是因为内网看到的G网口是虚拟机之间共享的,很多用户共用,所以很容易有波动 ;
另外阿里云OSS工程师建议,开发者在对OSS开发的工具中最大上传并发最好小于20M的峰值,这样才能减少对其它用户的影响;


测试结果如下表所示:


测试截图如下:
1、杭州OSS外网的5个线程上传:(速度如360那个小圈所示,网络应用在1%)
  

2、杭州OSS外网的10个线程上传:(速度如360那个小圈所示,网络应用在2%)


3、杭州OSS外网的15个线程上传:(速度如360那个小圈所示,网络应用在3%)


4、杭州OSS外网的20个线程上传:(速度如360那个小圈所示,网络应用在5%)


——————————————————————————————————————————————————————
5、青岛OSS外网的5个线程上传:(速度如360那个小圈所示,网络应用在2%)


6、青岛OSS外网的10个线程上传: (速度如360那个小圈所示,网络应用在5%)


7、青岛OSS外网的15个线程上传: (速度如360那个小圈所示,网络应用在8%)



8、青岛OSS外网的20个线程上传:(带宽跑满了,测试已经不准了)  


同时发现,在线程为15或20的时候,测试所用的PC由于性能较低,CPU已经跑满了,并非程序占用CPU资源,而是该PC的内网带宽都不足,挤占了CPU资源。


——————————————————————————————————————————————————————————————————
9、杭州OSS内网的5个线程和15个线程上传的对比; (下图的两段曲线分别是5个线程和15个线程分别上传时的速率曲线,大家可以发现曲线差不多,所以线程数增加并不能提高上传速度,所以内网只需要5个线程足够了——或许在内网业务不繁忙的时候,这个速度还可以上升)




10、青岛OSS内网的5个线程和15个线程上传的对比; (下图的两段曲线分别是5个线程和15个线程分别上传时的速率曲线,大家可以发现曲线差不多,所以线程数增加并不能提高上传速度,所以内网只需要5个线程足够了——或许在内网业务不繁忙的时候,这个速度还可以上升)



————————————————————————————————————————————————————————————————————
以上测试,仅供大家参考!
网络带宽条件不同、测试时间不同、测试手法不同……,均会引起测试结果不一样,请大家理解!
谢谢!


顺便广告一下,我们开发的大文件分块上传功能,可以理想的支持单文件几十G的稳定上传!


展开
收起
ftp4oss 2014-04-25 23:41:39 33199 0
6 条回答
写回答
取消 提交回答
  • Re分享:OSS在多线程并发上传的测速
    一直愁这个问题 单线程只有1mb/s的速度

    -------------------------

    Re分享:OSS在多线程并发上传的测速
    但我这边是PHP上传的,
    2016-08-30 15:28:16
    赞同 展开评论 打赏
  • Re分享:OSS在多线程并发上传的测速
    以杭州节点的测试速度为例,1线程200K,5线程1.2M,20线程4.8M,为什么1个线程不能跑到4.8M?OSS或者宽带服务商对单个线程做了限制?
    2016-04-18 19:13:53
    赞同 展开评论 打赏
  • Re分享:OSS在多线程并发上传的测速
    感谢你们的努力
    2014-10-08 00:56:56
    赞同 展开评论 打赏
  • LT是个伪程序员
    回 1楼(ftp4oss) 的帖子
    我这两天也在纳闷用OSS上传稍大的文件,速度有点不满意,一个8M的图片就得等好一会。

    -------------------------

    你的demo使用c#写的么?分块上传的API调用代码能分享一下么?非常感谢了!

    2014-06-28 14:20:48
    赞同 展开评论 打赏
  • Re分享:OSS在多线程并发上传的测速
    其实,我们没有多大的文件,都是小图片。几百k,我们关心下载速度。呵呵

    顺便说一下,ftp4oss,非常好。我的数据,断断续续的传了30多个G了,还有好几天才能传完,速度要是放开,网站就打开的慢了。一直给ftp限速。
    2014-04-30 09:23:25
    赞同 展开评论 打赏
  • 奇怪,对OSS的上传速度没有人关心?

    -------------------------

    回 2楼(shotlei) 的帖子
    嗯,感谢您对ftp4oss的支持!

    确实是,对于网站站长来说,附件都几百K,很少大于2M的;OSS能给提供良好的下载、浏览体验;

    关于您说的要对ftp限速一事我有点疑惑?以为我们是支持内网上传的,您设置好内网连接的话,不会占用您的网站带宽的,速度还更好;如果是ECS通过内网传到OSS的话,您这30多个G也就1、2天就完事了~~~

    -------------------------

    回 4楼(rantin) 的帖子
    你好,现在我们这边免费提供给大家使用哦

    [分享]OssExplorer(OSS专用客户端)邀请您参与内测了——Ftp4oss出品 http://bbs.aliyun.com/read/161263.html

    -------------------------

    回 6楼(千鸟) 的帖子
    上传速度不满意的话,主要还得检查自己的网络上行带宽~~~

    -------------------------


    顶上去~~~

    2014-04-29 00:15:52
    赞同 展开评论 打赏
滑动查看更多
问答排行榜
最热
最新

相关电子书

更多
OSS运维进阶实战手册 立即下载
《OSS运维基础实战手册》 立即下载
OSS运维基础实战手册 立即下载