理论：
Ceph是一个开源的、统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
ceph支持的三种存储方式：
块存储 RDB: 安全、读写性强、大型或超大型企业使用，需要光纤组网成本高
对象存储 RGW：键值存储、安全、高读写、简单易管理，不适应变动大的文件、不适合数据库、系统挂载困难
文件系统存储 CephFS：成本低、适用于内部文件共享，低读写、低传输
ceph组件：
osd: 存储数据、副本数据处理、数据恢复、数据回补、平衡数据分布，并将数据相关的一些监控信息提供给mon,以便mon来检查其他OSD的心跳状态。
mon：负责监视Ceph集群，维护Ceph集群的健康状态，同时维护着Ceph集群中的各种Map图
mds: 保存的是Ceph文件系统的元数据。Ceph的块设备和Ceph对象存储都不需要mds
mgr: 负责跟踪运行时间指标和Ceph群集的当前状态，包括存储利用率，当前性能指标和系统负载。
1.环境
ceph01 192.168.8.10 admin、osd、mon、mgr
ceph02 192.168.8.20 osd、mds、mon、mgr
ceph03 192.168.8.30 osd、mds、mon、mgr
client 192.168.8.40 client
(前3台另加一块100G硬盘，不要分区)
2.ssh免密
ceph01: cat >> /etc/hosts << EOF 192.168.8.10 ceph01 192.168.8.20 ceph02 192.168.8.30 ceph03 192.168.8.40 client EOF ssh-keygen for i in ceph01 ceph02 ceph03 client;do ssh-copy-id $i;done scp /etc/hosts ceph02:/etc scp /etc/hosts ceph03:/etc scp /etc/hosts client:/etc
3.所有ceph主机基础配置
yum源：
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
cat> /etc/yum.repos.d/ceph.repo << EOF
[ceph] name=ceph baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/ gpgcheck=0 [ceph-noarch] name=ceph-noarch baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/ gpgcheck=0 EOF
时间同步：
yum -y install chrony
vim /etc/chrony.conf
修改：
server ntp1.aliyun.com iburst
server ntp2.aliyun.com iburst
server ntp3.aliyun.com iburst
保存退出
systemctl restart chronyd
安装ceph-deploy
yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs
4.创建集群
(1)管理节点，多个mon模式
ceph01:
cd /etc/ceph/
ceph-deploy new ceph01 ceph02 ceph03
ls /etc/ceph/
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring rbdmap
# ceph.conf 为 ceph 配置文件;
ceph-deploy-ceph.log 为 ceph-deploy 日志文件;
ceph.mon.keyring 为 ceph monitor 的密钥环。
# 把 Ceph 配置文件里的默认副本数从 3 改成 2 ，这样只有两个 OSD 也可以达到 active + clean 状态。
echo "osd_pool_default_size = 2" >> ceph.conf
(2)初始化mon节点，收集所有秘钥
# 管理节点
ceph01:
ceph-deploy mon create-initial
# 查看集群状态
ceph -s
5.添加osd服务
# 使用ceph自动分区
ceph01：
ceph-deploy disk zap ceph01 /dev/sdb
ceph-deploy disk zap ceph02 /dev/sdb
ceph-deploy disk zap ceph03 /dev/sdb
# 添加osd节点
ceph01：
ceph-deploy osd create ceph01 --data /dev/sdb
ceph-deploy osd create ceph02 --data /dev/sdb
ceph-deploy osd create ceph03 --data /dev/sdb
# 查看osd节点
ceph01:
ceph-deploy osd list ceph01 ceph02 ceph03
6.添加mgr服务
ceph01:
ceph-deploy mgr create ceph01 ceph02 ceph03
7.统一集群配置
ceph01:
ceph-deploy admin ceph01 ceph02 ceph03
# 集群每一个节点授权
chmod +r /etc/ceph/ceph.client.admin.keyring
8.添加mds服务
ceph01:
ceph-deploy mds create ceph02 ceph03
#查看mds状态
ceph mds stat
#查看集群状态
ceph -s
----------------
ceph集群应用
一.文件系统运用
1.创建CephFS
# 查看文件系统
ceph01:
ceph fs ls
显示无文件系统
# CephFS 需要两个Pools: cephfs-data、cephfs-metadata, 分别存储文件数据和文件元数据
# 取值范围：osd<5 取128；osd 5-10 取512；osd 10-50取4096；osd>50 通过pgcalc计算
ceph01:
ceph osd pool create ceph_data 128
ceph osd pool create ceph_metadata 128
# 为存储池创建文件系统
ceph01:
ceph fs new cephfs ceph_metadata ceph_data
#查看文件系统和mds状态
ceph01:
ceph fs ls
ceph fs status cephfs
2.客户端挂载
(1) 普通挂载
# 客户端创建挂载点 client： mkdir /data # 管理节点查看客户端秘钥 ceph01: cat /etc/ceph/ceph.client.admin.keyring [client.admin] key = AQC++Zxk7ie+IxAAaOUqx/ZErIEXBfHNhDqK8g== # 客户端使用秘钥挂载 client: mount -t ceph 192.168.8.10:6789:/ /data/ -o name=admin,secret=AQC++Zxk7ie+IxAAaOUqx/ZErIEXBfHNhDqK8g== # 卸载 umount /data
(2) 用户空间方式挂载
# 客户端安装ceph-fuse client： yum -y install ceph-fuse mkdir /etc/ceph # 管理节点复制秘钥和配置文件到客户端 ceph01: scp ceph.client.admin.keyring ceph.conf client:/etc/ceph/ # 客户端挂载 ceph-fuse -m 192.168.8.10:6789 /data/ # 查看挂载 df -hT
二.块存储运用
1.查看内核是否支持rbd，否则升级内核
ceph01:
modprobe rbd
lsmod | grep rbd
2.创建块存储的存储池
ceph01: ceph osd pool create rbd 64 # pg取值一般64 128 256，具体看osd数量 # 查看pg值 ceph osd pool get rbd pg_num # 手动设置pg值 ceph osd pool set rbd pg_num 128
3.创建块存储镜像
ceph01:
rbd create --size 102400 rbd/test1
#更改镜像大小
rbd resize --size 51200 test1 --allow-shrink
# 查看rbd信息
rbd ls
rbd info test1
4.客户端映射块设备
client：
# 安装ceph命令 yum -y install ceph-common # 内核4.0前系统需要关闭某些功能 rbd feature disable test1 object-map fast-diff deep-flatten exclusive-lock # 映射rbd rbd map test1 #挂载 mkdir /cephrbd mkfs.xfs /dev/rbd0 mount /dev/rbd0 /cephrbd # 测试写入 dd if=/dev/zero of=/cephrbd/file bs=100M count=1 # 查看rados（ceph底层系统） rados df
5.创建快照并测试回滚
client： rbd snap create --snap mysnap rbd/test1 # 删除文件 rm -rf /cephrbd/file # 取消挂载 umount /dev/rbd0 # 回滚 rbd snap rollback rbd/test1@mysnap # 重新挂载并查看文件 mount /dev/rbd0 /cephrbd/ ls /cephrbd 6. 块设备克隆（基于快照） # 保护快照 rbd snap protect rbd/test1@mysnap # 卸载 umount /dev/rbd0 # 基于快照克隆 rbd clone rbd/test1@mysnap rbd/test2 # 查看块存储 rbd ls # 映射rbd rbd map rbd/test2 # 挂载新设备 mkdir /cephrbd1 mount /dev/rbd1 /cephrbd1 ls /cephrbd1
-----------------------------
ceph常用命令
1.服务相关
systemctl status ceph\*.service ceph\*.target #查看所有服务 systemctl stop ceph\*.service ceph\*.target #关闭所有服务 systemctl start ceph.target #启动服务 systemctl stop ceph-osd\*.service # 关闭所有osd服务 systemctl stop ceph-mon\*.service #关闭所有mon服务 systemctl start ceph-osd@{id} #启动单个osd服务 systemctl start ceph-mon@{hostname} #启动单个mon服务 systemctl start ceph-mds@{hostname} #启动单个mds服务
2.查看
ceph -help #查看命令帮助 ceph -s #查看状态 ceph osd pool set rbd pg_num 1024 # 修改pg_num数量 ceph osd pool set rbd pgp_num 1024 # 修改pgp_num数量 ceph osd tree #查看osd树列表 ceph osd pool ls #查看所有的osd池 ceph --admin-daemon /var/run/ceph/ceph-osd.0.asok config show # 查看指定的osd运行中的所有参数 rados df #查看储存池使用情况 rados -p rbd ls |sort ceph osd pool get rbd pg_num ceph osd pool get rbd pgp_num ceph osd pool set rbd pg_num 1024 ceph osd pool set rbd pgp_num 1024
3.清除ceph配置
systemctl stop ceph\*.service ceph\*.target #停止所有进程 ceph-deploy uninstall [{ceph-node}] #卸载所有ceph程序 ceph-deploy purge {ceph-node} [{ceph-data}] #删除ceph相关的安装包 例如：ceph-deploy purge node4 ceph-deploy purgedata {ceph-node} [{ceph-data}] #删除ceph相关的配置 ceph-deploy forgetkeys #删除key yum -y remove ceph-deploy #卸载ceph-deploy管理
