Ceph recommendation - HARD DISK AND FILE SYSTEM-阿里云开发者社区

开发者社区> 云计算> 正文
登录阅读全文

Ceph recommendation - HARD DISK AND FILE SYSTEM

简介:
Ceph OSD数据是将数据存储在文件系统中的, 所以可以认为Ceph是基于文件系统的分布式文件系统.
那么问题来了, 用户将数据写入Ceph文件系统后, 还要经过OSD所在的文件系统, 再写入硬盘(中间可能还要经过os cache, array cache, disk cache).
所以为了确保数据安全写入持久化存储, Ceph对文件系统有一定的要求.

硬盘 : 
1. 建议将OSD的存储和操作系统分开硬盘存储. 
2. 如果你在使用较老的内核(<2.6.33), 务必关闭OSD所在硬盘的写缓存. (CentOS 7的内核版本3.10.0, 无需设置.)
例如 : 
sudo hdparm -W 0 /dev/hda 0
如果使用了没有掉电保护的RAID卡, 建议将RAID卡的写缓存(write back)关掉, 改为write through.

文件系统 : 
1. 目前建议使用XFS作为OSD 数据目录和journal的文件系统. 如果不能使用XFS, 可以选择EXT4.
2. 未来btrfs会是更好的选择, 但是目前还不够稳定.
3. OSD Daemon依赖文件系统的Extended Attributes (XATTRs), 所以文件系统必须提供足够多的空间来存储XATTRs, 
    btrfs 不限制XATTRs的容量, 所以不存在问题.
    XFS 限制XATTRs为64K, 基本够用.
    EXT4 太小, 不够OSD Daemon用.
所以如果你使用EXT4作为OSD Daemon存储的话, 在ceph机器配置文件的[osd]章节, 建议配置使用omap来存储xattr.
           filestore xattr use omap = true
使用xfs和btrfs可以不配置以上.

[参考]

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

其他文章
最新文章
相关文章