1
条回答
写回答
写回答
-
对此问题，有些系统(如tfs，Haystack)采用了小文件合并存储+索引文件的优化方案，此方案有许多益处：a.合并后的合并大文件通常在64MB，甚至更大，单盘所存储的合并大文件数量远小于原小文件的数量，其inode等信息可以全部被cache到内存，减少了一次不必要的磁盘IO；b.索引文件通常数据量(通常只存储小文件所在的合并文件，及offset和size等关键信息)很小，可以全部加载到内存中，读取时先访问内存索引数据，再根据合并文件、offset和size访问实际文件数据，实现了一次磁盘IO的目的；c.单个小文件独立存储时，文件系统存储了其guid、属主、大小、创建日期、访问日期、访问权限及其它结构信息，有些信息可能不是业务所必需的，在合并存储时，可根据实际需要对文件元数据信息裁剪后在做合并，减少空间占用。除了合并方法外，还可以使用IO性能更好的SSD等设备，来实现高效响应本地io请求的目标。
2019-07-17 23:15:00赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
