1. 简介
在系列文章的第三篇中，讲到了如何使用 PV 和 PVC 挂载 RBD 上建立好的块存储镜像，但这还是不足以满足 cloud native 环境下的需求，试想如果部署一个应用，需要申请十个 RBD images，PV 和 PVC 的方式下，就需要先手动在 ceph 集群上部署十个 image，这在实际操作时，是完全不可接受的，就算用 Webhook 机制调用脚本自动执行，也会存在一些问题，比如何时释放 RBD image，而且这样也增加了系统的复杂度，更易出错，所以最好是有 Kubernetes 的原生的解决方案。而 Kubernetes 确实提供这样的解决方案，就是本文要谈到的 StorageClass。
我对 StorageClass 的理解是： 对系统提供的存储能力进行抽象，并使用客户端与存储系统进行交互，来达到动态获取存储能力的目的。也就是说，客户端是要和 StorageClass 配套使用的，用哪种类型的存储，就需要启动对应的客户端，RBD 的客户端叫做 rbd-provisioner。
2. 配置 StorageClass
首先需要获取 ceph 的密钥：
$ ceph auth get-key client.admin | base64
QVFCTnFzMWFuMDNoRGhBQUVrMjlXNlZzYnN6Yk13bWZvVmt0bkE9PQ==
然后创建名为 ceph-secret 的 secret，后面的 StorageClass 会用到。
$ cat ceph-secret.yaml
apiVersion: v1
kind: Secret
metadata:
name: ceph-secret
type: "kubernetes.io/rbd"
data:
key: QVFCTnFzMWFuMDNoRGhBQUVrMjlXNlZzYnN6Yk13bWZvVmt0bkE9PQ==
接下来看一下 StorageClass 配置文件的实例：
$ cat storage-class.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: rbd
provisioner: ceph.com/rbd
parameters:
monitors: 192.168.250.91:6789
adminId: admin
adminSecretName: ceph-secret
adminSecretNamespace: default
pool: rbd
userId: admin
userSecretName: ceph-secret
fsType: ext4
imageFormat: "2"
imageFeatures: "layering"
大部分的内容和 PV 里的配置是一样的，那么就挑几个之前没有介绍过的参数说一下：
- provisioner: 就是之前所说的客户端，官方文档中使用的 provisioner 是默认的 kubernetes.io/rbd，注意要改成 ceph.com/rbd，kubernetes.io/rbd 是无法正常使用的，原因是 kubernetes.io/rbd 会在 kube-controller-manager 镜像中查找 RBD 可执行文件，但默认的 kube-controller-manager 镜像是没有的，需要自己来定制镜像，具体细节可参考该链接：Error creating rbd image: executable file not found in $PATH。改为 "ceph.com/rbd" 后，使用的是外部的 RBD 可执行文件，具体的做法会在下一节中介绍。
- adminId | userId：连接 ceph 的权限，admin 已存在，如果有需要创建其他用户，可以在 Ceph 集群中创建，并赋予对应的权限，简单使用的话，admin 也足够了。
- adminSecretName：Ceph admin 所使用的密钥，复用之前创建的即可。
- adminSecret。namespace：密钥所在的命名空间，默认是 default，如果修改为其他的话，需要修改 ceph-secret.yaml，增加 namespace字段：namespace-name。
创建 StorageClass：
$ kubectl create -f storage-class.yaml
storageclass "rbd" created
$ kubectl get storageclass
NAME TYPE
rbd ceph.io/rbd
3. 配置 rbd-provisioner
首先要下载 kubernetes-incubator git 库，RBD 的内容存储在 external-storage/ceph/rbd/deploy/ 目录下。
$ git clone https://github.com/kubernetes-incubator/external-storage.git
$ tree external-storage/ceph/rbd/deploy/
├── README.md
├── non-rbac
│ └── deployment.yaml
└── rbac
├── clusterrole.yaml
├── clusterrolebinding.yaml
├── deployment.yaml
└── serviceaccount.yaml
分为 RBAC 和 无 RBAC 两种部署方式，RBAC 就是基于角色的权限控制，kubeadm 搭建的 Kubernetes 集群默认开启了 RBAC，所以本文选用 RBAC 方式。external-storage 中提供的方式是部署在 default namespace 中的，如果要部署在其他 namespace 中，需要做对应的修改。
接下来就把 RBD provisioner 启动起来吧：
$ kubectl create -f external-storage/ceph/rbd/deploy/rbac/
clusterrole "rbd-provisioner" created
clusterrolebinding "rbd-provisioner" created
deployment "rbd-provisioner" created
serviceaccount "rbd-provisioner" create
$ kubectl get pod --selector app=rbd-provisioner
NAME READY STATUS RESTARTS AGE
rbd-provisioner-6f4f7fcf5f-4gdmj 1/1 Running 0 6m
4. 挂载 StorageClass
一切就绪，接下来就试试能否动态的获取 RBD 存储空间吧。
先创建 PVC，看看 PVC 能否处于 bound 状态。
$ cat dynamic-volume-claim.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mysql-dynamic-pvc
spec:
accessModes:
- ReadWriteOnce
storageClassName: rbd
resources:
requests:
storage: 1Gi
$ kubectl create -f dynamic-volume-claim.yaml
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
mysql-dynamic-pvc Bound pvc-65ddafb2-6f9d-11e8-b243-d09466144cbf 1Gi RWO rbd 5d
接下来再将该 PVC 挂载到 MySQL 实例上。
apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
name: mysql
spec:
selector:
matchLabels:
app: mysql
strategy:
type: Recreate
template:
metadata:
labels:
app: mysql
spec:
terminationGracePeriodSeconds: 10
containers:
- name: mysql
image: mysql:5.7
env:
- name: MYSQL_ROOT_PASSWORD
valueFrom:
secretKeyRef:
name: mysql-secret
key: ROOT_PASSWORD
ports:
- containerPort: 3306
name: mysql
volumeMounts:
- name: mysql-persistent-storage
mountPath: /var/lib/mysql
subPath: mysql
readOnly: false
volumes:
- name: mysql-persistent-storage
persistentVolumeClaim:
claimName: mysql-dynamic-pvc
至此完成 RBD 的动态挂载，下一篇文章来谈一谈如何使用 StatefulSet 部署主从同步的 MySQL 集群。
