开发者社区> 问答> 正文

分享:OSS在多线程并发上传的测速

ftp4oss 2014-04-25 23:41:39 24111
近期我们一直在测试这个多线程并发上传的小功能模块的集成,这里顺便把对OSS并发上传的速度/速率的测试结果分享一下,说的不对的地方,请大家批评指正一下!(测试描述的速度为大B单位)

以下测试过程,采用的工具是我们“OSS客户端”的大文件分块上传模块,本功能模块在开发过程中,多个问题得到阿里云工程师的技术支持,这里表示非常感谢!


(1)内网测试,分别采用杭州和青岛两个节点的ECS,通过内网连接上传测试;
(2)外网测试,则在天津联通百M光纤专线环境下测试,但是该光纤有部分业务,所以最大峰值我只能用到10M左右;

总体感觉青岛节点的性能比杭州的要好不少,但是鉴于测试所在地的网络情况和时间点繁忙情况,测试结果仅供大家参考。


据了解OSS是没有限制并发数(这个从外网可以看出来),但是内网几乎无法超越30M,是因为内网看到的G网口是虚拟机之间共享的,很多用户共用,所以很容易有波动 ;
另外阿里云OSS工程师建议,开发者在对OSS开发的工具中最大上传并发最好小于20M的峰值,这样才能减少对其它用户的影响;


测试结果如下表所示:


测试截图如下:
1、杭州OSS外网的5个线程上传:(速度如360那个小圈所示,网络应用在1%)
  

2、杭州OSS外网的10个线程上传:(速度如360那个小圈所示,网络应用在2%)


3、杭州OSS外网的15个线程上传:(速度如360那个小圈所示,网络应用在3%)


4、杭州OSS外网的20个线程上传:(速度如360那个小圈所示,网络应用在5%)


——————————————————————————————————————————————————————
5、青岛OSS外网的5个线程上传:(速度如360那个小圈所示,网络应用在2%)


6、青岛OSS外网的10个线程上传: (速度如360那个小圈所示,网络应用在5%)


7、青岛OSS外网的15个线程上传: (速度如360那个小圈所示,网络应用在8%)



8、青岛OSS外网的20个线程上传:(带宽跑满了,测试已经不准了)  


同时发现,在线程为15或20的时候,测试所用的PC由于性能较低,CPU已经跑满了,并非程序占用CPU资源,而是该PC的内网带宽都不足,挤占了CPU资源。


——————————————————————————————————————————————————————————————————
9、杭州OSS内网的5个线程和15个线程上传的对比; (下图的两段曲线分别是5个线程和15个线程分别上传时的速率曲线,大家可以发现曲线差不多,所以线程数增加并不能提高上传速度,所以内网只需要5个线程足够了——或许在内网业务不繁忙的时候,这个速度还可以上升)




10、青岛OSS内网的5个线程和15个线程上传的对比; (下图的两段曲线分别是5个线程和15个线程分别上传时的速率曲线,大家可以发现曲线差不多,所以线程数增加并不能提高上传速度,所以内网只需要5个线程足够了——或许在内网业务不繁忙的时候,这个速度还可以上升)



————————————————————————————————————————————————————————————————————
以上测试,仅供大家参考!
网络带宽条件不同、测试时间不同、测试手法不同……,均会引起测试结果不一样,请大家理解!
谢谢!


顺便广告一下,我们开发的大文件分块上传功能,可以理想的支持单文件几十G的稳定上传!


对象存储 开发者
分享到
取消 提交回答
全部回答(6)
  • sonnyboy
    2016-08-30 15:28:16
    Re分享:OSS在多线程并发上传的测速
    一直愁这个问题 单线程只有1mb/s的速度

    -------------------------

    Re分享:OSS在多线程并发上传的测速
    但我这边是PHP上传的,
    0 0
  • we232
    2016-04-18 19:13:53
    Re分享:OSS在多线程并发上传的测速
    以杭州节点的测试速度为例,1线程200K,5线程1.2M,20线程4.8M,为什么1个线程不能跑到4.8M?OSS或者宽带服务商对单个线程做了限制?
    0 0
  • 春秋互动
    2014-10-08 00:56:56
    Re分享:OSS在多线程并发上传的测速
    感谢你们的努力
    0 0
  • 千鸟
    2014-06-28 14:20:48
    回 1楼(ftp4oss) 的帖子
    我这两天也在纳闷用OSS上传稍大的文件,速度有点不满意,一个8M的图片就得等好一会。

    -------------------------

    你的demo使用c#写的么?分块上传的API调用代码能分享一下么?非常感谢了!

    0 0
  • shotlei
    2014-04-30 09:23:25
    Re分享:OSS在多线程并发上传的测速
    其实,我们没有多大的文件,都是小图片。几百k,我们关心下载速度。呵呵

    顺便说一下,ftp4oss,非常好。我的数据,断断续续的传了30多个G了,还有好几天才能传完,速度要是放开,网站就打开的慢了。一直给ftp限速。
    0 0
滑动查看更多
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

推荐文章
相似问题