调研分享:图片文件在各文件系统上的访问性能对比-阿里云开发者社区

开发者社区> 技术小美> 正文

调研分享:图片文件在各文件系统上的访问性能对比

简介:
+关注继续查看

1 概述

  在某产品线的图片服务器,存放了亿级别的图片文件,每个文件的大小在0.5k-100k之间,其中1K以下的文件数量在50%左右,1-4K文件数量在40%左右,4K以上10%,大量的文件存储对文件系统的性能要求非常高,特对目前业界常用系统性能在图片服务的表现进行调研。

  因线上flash卡故障率非常高,所以在寻找替代方案,磁盘是否可以满足线上系统需求?是否满足今后可扩展性(容量、文件数量)?是否可以更好的处理数据同步使用时间?
 

2 预期解决问题

  1、磁盘是否可以替换flash卡?
目前发现1Tflash卡故障率极高,严重时每周多次损坏,修复数据的时间很长,最少需要6个小时。
2、测试jfs reiserfs xfs ext2文件系统在图片业务上的性能表现(读写)。

3 测试方法及结果

3.1 测试方法

  1、模拟线上环境,进行压力测试

  搭建一套跟目前线上一样的系统环境,提取线上7天全部日志,采用压力工具(可以模拟数据全部返回)进行模拟线上环境进行压力测试(连续压力2小时以上)。

  2、利用磁盘测试工具,进行设备性能测试

  3、通过磁盘占用空间、inode节点数量进行对比

  4、通过线上数据同步,测试同步所需时间

3.2 结果分析

  1、使用磁盘完全可以替代flash

  从模拟线上产品的压力得出结论使用HP机器采用jfs和ext2文件系统完全可以满足目前线上系统及未来一段时间内需求,如下表:

 

  注:使用磁盘需要20分钟充cache,充cache期间的lighttpd的最大压力值2000.

  2、图片服务目前的瓶颈在网卡

  在进行模拟线上压力测试时,所有文件文件系统除dell-reiserfs外全部可以达到网卡流量峰值1G,随着时间推迟,平均值会下降,但是cpu也会逐渐空闲,

  3、在各种文件系统性能在图片服务的业务测试中,得出如下结果

  1)Flash卡上的ext2性能比较突出

  2)磁盘上jfs的表现更适合目前线上业务

  3)reiserfs的空间占用最小,比其他文件系统节约空间60%-65%

  如下表:

 

  4、修改线上图片更新脚本可以减少10%的时间,

  5、各文件系统下数据同步时间耗用完全不同,ext2在flash卡上,jfs在磁盘的表现非常好。

  如下表:

 

  6、在磁盘上,HP机器的小文件处理能力比dell更适合图片服务。

By huanghaibin

 













本文转自百度技术51CTO博客,原文链接:http://blog.51cto.com/baidutech/743793,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
创业公司如何做数据分析(五)微信分享追踪系统
微信分享,早已成为移动互联网运营的主要方向之一,这部分数据驱动了公司去年近一半的推广业务!本文重点探讨如何搭建微信分享追踪系统,利用微信庞大的好友关系进行传播,实现宣传、拉新等营销目的。
3790 0
DockOne微信分享(九十七):现有系统实施微服务架构改进经验分享
本文讲的是DockOne微信分享(九十七):现有系统实施微服务架构改进经验分享【编者的话】微服务是最近非常热门的话题了,它带来的好处吸引不少互联网公司对现有项目进行微服务架构改进。 本次分享是博主根据自身的项目经验,介绍如何对现有架构进行调整,总结这过程中的相关技术选型,以及如何实施技改,并分享最终取得的非常让人意外的成果。
1527 0
Android图形显示系统——一张图片的显示流程
Android设备上一张图片的显示过程 应用示例 假如我们现在有一张这样的风景照 想在Android设备(比如一个小米pad)上显示出来。首先想到的是写一个应用,用一个ImageView,把这张照片附到ImageView上显示,如下面的demo。 MainActivity.java package com.example.pictureshow; imp
2408 0
微信公众号-- 微信分享功能(分享到朋友和朋友圈显示图片和简介)
页面设置一个隐藏的图片,宽高都是300像素,微信就会抓取这张图片做为分享图片
15075 0
Eclipse 分屏显示同一个代码文件
描述:         今天在使用Eclipse开发的时候不知按错哪个键,出现编辑框分屏显示同一个代码,由于之前没有使用过这一功能,所以就去查了一下,原来是Eclipse的分屏功能。   快捷键:        方式一:Window -> Editor -> Toggle Split Editor ...
1419 0
首发福利!全球第一开源ERP Odoo系统架构部署指南 电子书分享
引言 Odoo,以前叫OpenERP,是比利时Odoo S.A.公司开发的一个企业应用软件套件,开源套件包括一个企业应用快速开发平台,以及几千个Odoo及第三方开发的企业应用模块。Odoo适用于各种规模的企业应用。
4185 0
+关注
6906
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载