Linux 远程挂载 Ceph RBD 磁盘

简介: block storageRBD 是 Ceph 的块存储方案,最近需要在一台 Linux 服务器上挂载 Ceph 镜像,做法和 Kubernetes 挂 RBD 很像,但部分操作由于 Kubernetes 在镜像中已经固化了,所以将这次完全自己控制的步骤记录下来,加深对 Ceph 挂载的理解。
img_df078f1940e0e378771e2deb3c166950.png
block storage

RBD 是 Ceph 的块存储方案,最近需要在一台 Linux 服务器上挂载 Ceph 镜像,做法和 Kubernetes 挂 RBD 很像,但部分操作由于 Kubernetes 在镜像中已经固化了,所以将这次完全自己控制的步骤记录下来,加深对 Ceph 挂载的理解。

1. 安装 Ceph

要挂载 RBD 磁盘的 Linux 服务器首先要有 Ceph 的客户端,也就是 RBD 的客户端,以及一些 RBD 专用的 kernel module,毕竟这是要通过网络走特定的协议来完成的磁盘挂载,和本地直接 mount 还是有差别的。

安装过程并不复杂,因为环境中已经有了 Ceph 集群,从 Ceph 集群中的主节点使用 ceph-deploy 扩展新节点即可,就不再描述如何安装 Ceph 了。

# On Linux client
$ echo "<user-name> ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/<user-name>
$ sudo chmod 0440 /etc/sudoers.d/<user-name>
$ sudo apt-get install -y python
# On Ceph master
$ ceph-deploy install <Linux-client-IP>
$ ceph-deploy admin <Linux-client-IP>

2. 创建和挂载磁盘

上一步,已经在要挂载 RBD 的 Linux 服务器上安装好了 Ceph,接下来的操作在要挂载 Ceph RBD 磁盘的 Linux 服务器上操作即可。

首先为这个磁盘单独创建一个存储池,并指定该存储池作为 RBD 使用

$ sudo ceph osd pool create <pool-name> 50 50 # 两个 50 指定的 pg 和 pgp 的数量
$ sudo ceph osd pool application enable <pool-name> rbd

然后创建磁盘,下面这个命令创建了一个 1T 大小的磁盘,image-feature 参数指定的是 RBD 镜像的功能特性,很多功能特性只有高版本的 Linux kernel 才支持,甚至有些都没有 kernel 版本支持,所以只打开最基本的 layering 即可。

$ sudo rbd create <pool-name>/<image-name> --size 1T --image-feature=layering

接下来为了将远端的 RBD 磁盘挂载到本地,需要将其映射到本地的盘符上。

$ sudo rbd map <pool-name>/<image-name>

虽然已经关掉了大部分的 RBD 功能特性,结果还是报错了:

libceph: ... feature set mismatch, my 107b84a842aca < server's 40107b84a842aca, missing 400000000000000

3. 排错

接下来让我们看看 missing 400000000000000 是个什么意思。400000000000000 是一个二进制的字符串,每一个比特位对应一个 RBD 的功能特性,每个比特标识什么意思详见下表,表中还标出了支持该特性的内核版本,400000000000000 对应的特性是 CEPH_FEATURE_NEW_OSDOPREPLY_ENCODING,内核是从 4.5 开始支持的,而这次用的 Linux 系统是 Ubuntu 16.04,内核版本为 4.4,所以才会报出这个问题。

Feature BIT OCT 3.8 3.9 3.10 3.14 3.15 3.18 4.1 4.5 4.6
CEPH_FEATURE_NOSRCADDR 1 2 R R R R R R R R R
CEPH_FEATURE_SUBSCRIBE2 4 10 -R-
CEPH_FEATURE_RECONNECT_SEQ 6 40 -R- R R R R R R
CEPH_FEATURE_PGID64 9 200 R R R R R R R R
CEPH_FEATURE_PGPOOL3 11 800 R R R R R R R R
CEPH_FEATURE_OSDENC 13 2000 R R R R R R R R
CEPH_FEATURE_CRUSH_TUNABLES 18 40000 S S S S S S S S S
CEPH_FEATURE_MSG_AUTH 23 800000 -S- S S S
CEPH_FEATURE_CRUSH_TUNABLES2 25 2000000 S S S S S S S S
CEPH_FEATURE_REPLY_CREATE_INODE 27 8000000 S S S S S S S S
CEPH_FEATURE_OSDHASHPSPOOL 30 40000000 S S S S S S S S
CEPH_FEATURE_OSD_CACHEPOOL 35 800000000 -S- S S S S S
CEPH_FEATURE_CRUSH_V2 36 1000000000 -S- S S S S S
CEPH_FEATURE_EXPORT_PEER 37 2000000000 -S- S S S S S
CEPH_FEATURE_OSD_ERASURE_CODES*** 38 4000000000
CEPH_FEATURE_OSDMAP_ENC 39 8000000000 -S- S S S S
CEPH_FEATURE_CRUSH_TUNABLES3 41 20000000000 -S- S S S S
CEPH_FEATURE_OSD_PRIMARY_AFFINITY 41* 20000000000 -S- S S S S
CEPH_FEATURE_CRUSH_V4 **** 48 1000000000000 -S- S S
CEPH_FEATURE_CRUSH_TUNABLES5 58 200000000000000 -S- S
CEPH_FEATURE_NEW_OSDOPREPLY_ENCODING 58* 400000000000000 -S- S

解决这个问题,可以有两种方法,第一种是升级 kernel,第二种方法是降级 Ceph 的 CRUSH 算法,本文采用的是第二种方法,因为升级第二种方法操作起来更简单,风险也更低,一条命令即可:

$ sudo ceph osd crush tunables legacy

映射操作现在可以成功了!

$ sudo rbd map <pool-name>/<image-name>
/dev/rbd0

接下来的操作和挂载一个本地磁盘就没有任何区别了:

$ sudo mkfs.ext4 /dev/rbd0
$ sudo mkdir /data
$ sudo mount /dev/rbd0 /data/

让我们看看挂载的结果吧。

$ lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0 893.8G  0 disk 
|-sda1   8:1    0   476M  0 part /boot
|-sda2   8:2    0 119.2G  0 part [SWAP]
`-sda3   8:3    0 774.1G  0 part /
rbd0   251:0    0     1T  0 disk /data

4. 参考文档

目录
相关文章
|
9天前
|
缓存 运维 Linux
Linux系统调优详解(十二)——IO调优之磁盘测速
Linux系统调优详解(十二)——IO调优之磁盘测速
27 1
|
1月前
|
Linux
|
2月前
|
Linux
linux 磁盘详解挂载
磁盘管理 查看挂载情况 lsblk -f 挂载步骤 1.虚拟机增加硬盘 2.分区命令 fdisk /dev(设备文件)/sdb m 显示命令列表 p 显示磁盘分区 n 新增分区 d 删除分区 w 写入并退出 3.格式化磁盘,并挂载 mkfs -t ext4 /dev/sdb1 mount /dev/sdb1 文件路径 4.卸载 umount /dev/sdb1 或者 umount /文件 命令行重启挂载会失效 5.永久挂载 修改 etc/fstab实现挂载 执行mount -a生效
37 0
|
22天前
|
Linux 索引
Linux磁盘管理
Linux磁盘管理
18 0
|
2月前
|
IDE Linux 开发工具
Linux 实操篇-Linux 磁盘分区、挂载
Linux 实操篇-Linux 磁盘分区、挂载
57 0
|
2月前
|
IDE Linux 开发工具
Linux添加硬盘并进行分区、格式化、挂载及卸载
Linux添加硬盘并进行分区、格式化、挂载及卸载
83 0
|
2月前
|
Linux
linux(二十八)磁盘管理类命令df、du和free查看磁盘和目录空间占用
linux(二十八)磁盘管理类命令df、du和free查看磁盘和目录空间占用
44 0
|
21天前
|
运维 Linux
Linux系统调优详解(五)——磁盘IO状态查看命令
Linux系统调优详解(五)——磁盘IO状态查看命令
25 5
|
2月前
|
运维 Linux 虚拟化
linux|磁盘管理工作|lvm逻辑管理卷的创建和使用总结(包括扩容,根目录扩容演示)
linux|磁盘管理工作|lvm逻辑管理卷的创建和使用总结(包括扩容,根目录扩容演示)
63 0
|
28天前
|
存储 监控 固态存储
Linux扩容要注意哪些事项,Linux 磁盘扩容具体操作
Linux扩容要注意哪些事项,Linux 磁盘扩容具体操作