Ceph分布式存储性能调优
一、系统配置调优
1、设置磁盘的预读缓存
echo "8192" > /sys/block/sda/queue/read_ahead_kb
2、设置系统的进程数量
echo 4194303 > /proc/sys/kernel/pid_max
3、调整CPU性能
注意： 虚拟机和部分硬件 CPU 可能不支持调整。
1 ） 确保安装了内核调整工具：
yum -y install kernel-tools
2）调整为性能模式
可以针对每个核心做调整：
echo performance > /sys/devices/system/cpu/cpu${i}/cpufreq/scaling_governor
或者通过 CPU 工具进行调整：
cpupower frequency-set -g performance
支持五种运行模式调整：
performance ：只注重效率，将 CPU 频率固定工作在其支持的最高运行频率上，该模式是对系统高性能的最大追求。
powersave ：将 CPU 频率设置为最低的所谓 “
省电 ” 模式， CPU 会固定工作在其支持的最低运行频率上，该模式是对系统低功耗的最大追求。
userspace ：系统将变频策略的决策权交给了用户态应用程序，并提供相应接口供用户态应用程序调节CPU 运行频率使用。
ondemand : 按需快速动态调整 CPU 频率， 一有 cpu 计算量的任务，就会立即达到最大频率运行，等执行完毕就立即回到最低频率。
conservative ： 它是平滑地调整 CPU 频率，频率的升降是渐变式的 , 会自动在频率上下限调整，和ondemand 模式的主要区别在于它会按需渐进式分配频率，而不是一味追求最高频
率 . 。
3）部分硬件可能不支持，调整会出现如下错误：
[root@CENTOS7-1 ~]# cpupower frequency-set -g performance Setting cpu: 0 Error setting new values. Common errors: - Do you have proper administration rights? (super-user?) - Is the governor you requested available and modprobed? - Trying to set an invalid policy? - Trying to set a specific frequency, but userspace governor is not available, for example because of hardware which cannot be set to a specific frequency or because the userspace governor isn't loaded?
4、优化网络参数
修改配置文件：
vi /etc/sysctl.d/ceph.conf
配置内容：
net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 16384 16777216 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216
执行生效：
sysctl -p /etc/sysctl.d/ceph.conf
二、Ceph集群优化配置
1、Ceph的主要配置参数
FILESTORE 配置参数：
journal 配置参数：
osd config tuning 配置参数：
osd - recovery tuning 配置参数：
osd - client tuning 配置参数：
2、优化配置示例
