基础配置
操作系统使用银河kylin v10，CPU为飞腾处理器S2500
[root@node1 ~]# cat /etc/kylin-release Kylin Linux Advanced Server release V10 (Sword) [root@node1 ~]# lscpu 架构： aarch64 CPU 运行模式： 64-bit 字节序： Little Endian CPU: 128 在线 CPU 列表： 0-127 每个核的线程数： 1 每个座的核数： 64 座： 2 NUMA 节点： 16 厂商 ID： Phytium 型号： 3 型号名称： Phytium,S2500/64 C00 步进： 0x1 CPU 最大 MHz： 2100.0000 CPU 最小 MHz： 1100.0000 BogoMIPS： 100.00 L1d 缓存： 4 MiB L1i 缓存： 4 MiB L2 缓存： 64 MiB L3 缓存： 128 MiB NUMA 节点0 CPU： 0-7 NUMA 节点1 CPU： 8-15 NUMA 节点2 CPU： 16-23 NUMA 节点3 CPU： 24-31 NUMA 节点4 CPU： 32-39 NUMA 节点5 CPU： 40-47 NUMA 节点6 CPU： 48-55 NUMA 节点7 CPU： 56-63 NUMA 节点8 CPU： 64-71 NUMA 节点9 CPU： 72-79 NUMA 节点10 CPU： 80-87 NUMA 节点11 CPU： 88-95 NUMA 节点12 CPU： 96-103 NUMA 节点13 CPU： 104-111 NUMA 节点14 CPU： 112-119 NUMA 节点15 CPU： 120-127 Vulnerability Itlb multihit: Not affected Vulnerability L1tf: Not affected Vulnerability Mds: Not affected Vulnerability Meltdown: Mitigation; PTI Vulnerability Spec store bypass: Vulnerable Vulnerability Spectre v1: Mitigation; __user pointer sanitization Vulnerability Spectre v2: Not affected Vulnerability Srbds: Not affected Vulnerability Tsx async abort: Not affected 标记： fp asimd evtstrm aes pmull sha1 sha2 crc32 cpuid
之前想通过cephadm的方式去部署，结果发现cephadm不支持kylin v10的操作系统，那么剩下的就只有手动部署和编译安装的方式，kylin v10系统已经自带了ceph luminous版本的包，如果想用新版的ceph那只能通过编译安装的方式了
CEPH_GIT_VER = "ae699615bac534ea496ee965ac6192cb7e0e07c0" CEPH_GIT_NICE_VER = "12.2.8" CEPH_RELEASE = "12" CEPH_RELEASE_NAME = "luminous" CEPH_RELEASE_TYPE = "stable"
配置hosts解析
cat >> /etc/hosts <<EOF 192.168.2.16 node1 192.168.2.19 node2 192.168.2.18 node3 EOF
关闭防火墙
这里之前忘了关，创建ceph的时候卡主好几次
systemctl stop firewalld && systemctl disable firewalld
分别在三个节点设置主机名
hostnamectl set-hostname node1 hostnamectl set-hostname node2 hostnamectl set-hostname node3
配置主机时间同步
vi /etc/chrony.conf server ntp1.aliyun.com iburst allow 192.168.2.0/24 systemctl restart chronyd.service && systemctl enable chronyd.service
使用yum安装
安装ceph
麒麟v10已经自带了ceph 12版本的rpm包
yum install -y ceph
ceph命令执行需要用到python的PrettyTable模块，需要使用pip安装下
pip install PrettyTable
部署monitor节点
所有 Ceph 群集至少需要一个monitor，并且至少需要与存储在群集上的对象副本一样多的 OSD。引导初始mon是部署 Ceph 存储群集的第一步，这里我直接在node1、
node2、node3创建三个mon。
在node1添加monitor
为集群生成唯一的fsid，fsid是群集的唯一标识符，代表 Ceph 存储群集主要用于 Ceph 文件系统的文件系统 ID
uuidgen
创建ceph配置文件，将生成的fsid添加到配置文件中
vim /etc/ceph/ceph.repo [global] fsid=9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4 mon initial members = node1 mon host = 192.168.2.16 public network = 192.168.2.0/24 auth cluster required = cephx auth service required = cephx auth client required = cephx osd journal size = 1024 osd pool default size = 1 osd pool default min size = 1 osd pool default pg num = 8 osd pool default pgp num = 8 osd crush chooseleaf type = 1
为群集创建keyring并生成monitor keyring。monitor通过密钥相互通信。必须生成具有monitor密钥的keyring，并在引导初始monitor时提供keyring。
ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
生成管理员keyring，生成用户并将用户添加到client.admin keyring中。要使用 CLI 工具，必须有一个用户，并且还必须将用户添加到monitor keyring。
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
生成引导 osd 密钥，生成用户并将用户添加到client.bootstrap-osd keyring中。
ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
将生成的键添加到 ceph.mon.keyring
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
更改 ceph.mon.keyring的所有者。
chown ceph:ceph /tmp/ceph.mon.keyring
使用主机名、主机 IP 地址和 FSID 生成monitor映射。将其保存为 ：/tmp/monmap
monmaptool --create --add node1 192.168.2.16 --fsid 9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4 /tmp/monmap
在monitor主机上创建默认数据目录，目录名是{cluster-name}-{hostname}格式
sudo -u ceph mkdir /var/lib/ceph/mon/ceph-`hostname`
在node1节点对monitor进行初始化
sudo -u ceph ceph-mon --mkfs -i node1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
启动mon
systemctl start ceph-mon@node1 && systemctl enable ceph-mon@node1
在另外两个节点安装mon
将密钥和配置文件拷贝至其他节点
scp /tmp/ceph.mon.keyring node2:/tmp/ceph.mon.keyring scp /etc/ceph/* root@node2:/etc/ceph/ scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@node2:/var/lib/ceph/bootstrap-osd/ scp /tmp/ceph.mon.keyring node3:/tmp/ceph.mon.keyring scp /etc/ceph/* root@node3:/etc/ceph/ scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@node3:/var/lib/ceph/bootstrap-osd/
在两个节点上修改ceph.mon.keyring属主和属组为ceph
chown ceph.ceph /tmp/ceph.mon.keyring
获取monmap信息
ceph mon getmap -o /tmp/ceph.mon.map got monmap epoch 1
在mon节点上进行mon初始化
sudo -u ceph ceph-mon --mkfs -i node2 --monmap /tmp/ceph.mon.map --keyring /tmp/ceph.mon.keyring sudo -u ceph ceph-mon --mkfs -i node3 --monmap /tmp/ceph.mon.map --keyring /tmp/ceph.mon.keyring
将新的mon节点添加至ceph集群的mon列表
[root@node1 ~]# ceph mon add node2 192.168.2.17:6789 adding mon.node2 at 192.168.2.17:6789/0 [root@node1 ~]# ceph mon add node3 192.168.2.18:6789 adding mon.node3 at 192.168.2.18:6789/0
在两个节点上启动mon
systemctl start ceph-mon@`hostname` && systemctl enable ceph-mon@`hostname`
修改ceph.conf并重启ceph-mon（所有节点操作）
vim /etc/ceph/ceph.conf mon initial members = node1,node2,node3 mon host = 192.168.2.16,192.168.2.17,192.168.2.18 systemctl restart ceph-mon@`hostname`
添加osd
Ceph提供了该ceph-volume实用程序，该实用程序可以准备逻辑卷，磁盘或分区以供Ceph使用。该ceph-volume实用程序通过增加索引来创建OSD ID。
创建osd
在node1执行
ceph-volume lvm create --data /dev/sdb
上面的创建过程可以分为两个阶段（准备和激活）：
ceph-volume lvm prepare --data /dev/sdb 查看osd fsid ceph-volume lvm list ceph-volume lvm activate {ID} {FSID}
启动各个节点osd进程
#node1 systemctl restart ceph-osd@0 systemctl enable ceph-osd@0 #node2 systemctl restart ceph-osd@1 systemctl enable ceph-osd@1 #node3 systemctl enable ceph-osd@2
创建MGR
在运行ceph-mon守护程序的每个节点上，还应该设置一个ceph-mgr守护程序
创建密钥目录
所有mgr节点都要执行
sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-`hostname -s` cd /var/lib/ceph/mgr/ceph-`hostname -s`
创建身份验证密钥
ceph auth get-or-create mgr.`hostname -s` mon 'allow profile mgr' osd 'allow *' mds 'allow *' > keyring chown ceph.ceph /var/lib/ceph/mgr/ceph-`hostnbame`/keyring
启动mgr守护进程
systemctl enable ceph-mgr@`hostname -s` && systemctl start ceph-mgr@`hostname -s` 或者 ceph-mgr -i `hostname`
最后查看ceph运行状态，我只添加了两个osd
