兰亭侠个人页面-阿里云开发者社区

Kubernetes添加带Quota限额的CephFS StorageClass

1. 在Ceph上为Kubernetes创建一个文件系统 # ceph osd pool create cephfs_data 128 # ceph osd pool create cephfs_metadata 128 # ceph fs new cephfs cephfs_metadata cephfs_data 2. CephFS配置Quotas CephFS的mount方式分为内核态mount和用户态mount，内核态使用mount命令挂载，用户态使用ceph-fuse。内核态只有在kernel 4.17 + Ceph mimic以上的版本才支持Quotas，用户态则没有限制。内核态mount： # mount -t ceph 10.32.3.70:/k8s_test /mnt/cephfs/ -o name=admin,secret=AQCs2Q9bqAjCHRAAlQUF+hAiXhbErk4NdtvORQ== 用户态mount： # ceph-fuse -r /k8s_test /mnt/cephfs/ --name client.admin 配置quota： 1) 首先在CephFS创建一个要限额的目录 # mkdir /mnt/cephfs # ceph-fuse /mnt/cephfs # mkdir /mnt/cephfs/k8s_test 2) 然后在目录上使用setfattr设置限额属性 # setfattr -n ceph.quota.max_bytes -v 100000000 /mnt/cephfs/k8s_test 比如上面这条命令限制/k8s_test目录只能使用100MB大小的空间。 3) 挂载限额目录并测试 # mkdir /mnt/k8s_test # ceph-fuse -r /k8s_test /mnt/k8s_test/ --name client.admin --client-quota 由于使用的内核和Ceph版本比较低，只能在用户态测试。在Jewel及之前版本的ceph-fuse，挂载时要指定--client-quota参数，限额才会生效。而在Luminous之后的版本，则不支持这个参数了，会自动识别quota。由于我这里使用的是Jewel版本，所以指定了--client-quota参数。然后写入200MB数据测试一下： # cd /mnt/k8s_test # dd if=/dev/zero of=test1.bin bs=1M count=200 dd: error writing ‘test1.bin’: Disk quota exceeded 129+0 records in 128+0 records out 134348800 bytes (134 MB) copied, 0.428233 s, 314 MB/s # df -h Filesystem Size Used Avail Use% Mounted on ceph-fuse 92M -64Y -36M 100% /mnt/cephfs 可以看到中途提示超出配额，但是写入了134MB数据，超过了指定的配额100MB。这是因为CephFS的Quotas不是严格的，按官方说法判断检测周期是10s。再次写入数据，可以发现完全写不进去了： # dd if=/dev/zero of=test2.bin bs=1M count=200 dd: error writing ‘test2.bin’: Disk quota exceeded 1+0 records in 0+0 records out 0 bytes (0 B) copied, 0.00162182 s, 0.0 kB/s 3. 更新k8s用户权限 # ceph auth caps client.k8s mon 'allow rwx' osd 'allow rwx pool=k8s, allow rw pool=cephfs_data' mds 'allow rwp' 如果还没有创建k8s用户，则使用下面的命令创建： # ceph auth get-or-create client.k8s mon 'allow rwx' osd 'allow rwx pool=k8s, allow rw pool=cephfs_data' mds 'allow rwp' -o ceph.client.k8s.keyring 在Kubernets中创建访问Ceph的Secret的步骤见《Kubernetes配置Ceph RBD StorageClasses作为Persistent Volumes Claims后端》第3~5步。 4. Kubernetes Volume使用CephFS Kubernetes Volume原生支持CephFS类型，使用方法： # echo ‘apiVersion: v1 kind: Pod metadata: name: nginx-test-cephfs spec: containers: - name: nginx-test-cephfs image: registry.exmaple.com/base/nginx:v1.0 volumeMounts: - name: cephfs mountPath: "/data/" volumes: - name: cephfs cephfs: monitors: - 10.32.3.70:6789 - 10.32.3.71:6789 - 10.32.3.72:6789 path: /k8s_test user: k8s secretRef: name: ceph-k8s-secret readOnly: false’ | kubectl create -f - 进入容器查看： # kubectl exec nginx-test-cephfs -it -- /bin/bash [root@nginx-test-cephfs ~]# df -h Filesystem Size Used Avail Use% Mounted on 10.32.3.70:6789,10.32.3.71:6789,10.32.3.72:6789:/k8s_test 5.2T 1.1G 5.2T 1% /data 5. Kubernetes Persistent Volume使用CephFS Kubernetes Persistent Volume原生支持CephFS类型，使用方法： # echo 'apiVersion: v1 kind: PersistentVolume metadata: name: nginx-test-cephfs-pv-01 namespace: test spec: capacity: storage: 100Mi accessModes: - ReadWriteMany cephfs: monitors: - 10.32.3.70:6789 - 10.32.3.71:6789 - 10.32.3.72:6789 path: /k8s_test user: k8s secretRef: name: ceph-k8s-secret readOnly: false --- kind: PersistentVolumeClaim apiVersion: v1 metadata: name: nginx-test-cephfs-pvc-01 spec: accessModes: - ReadWriteMany resources: requests: storage: 50Mi --- apiVersion: v1 kind: Pod metadata: name: nginx-test-cephfs-01 spec: containers: - name: nginx-test-cephfs image: registry.exmaple.com/base/nginx:v1.0 volumeMounts: - name: cephfs-vol1 mountPath: "/data/" volumes: - name: cephfs-vol1 persistentVolumeClaim: claimName: nginx-test-cephfs-pvc-01' | kubectl create -f - 进入容器查看： # kubectl exec nginx-test-cephfs -it -- /bin/bash [root@nginx-test-cephfs ~]# df -h Filesystem Size Used Avail Use% Mounted on 10.32.3.70:6789,10.32.3.71:6789,10.32.3.72:6789:/k8s_test 5.2T 1.1G 5.2T 1% /data 6. Kubernetes StorageClass使用CephFS Kubernetes StorageClass原生不支持CephFS，但是在社区的孵化项目External Storage中添加了CephFS类型的StorageClass。External Storage是对核心的Kubernetes controller manager的扩展，其中包含的每个external provisioner可以独立部署以支持扩展的StorageClass类型。部署CephFS external provisioner： 1) 下载External Storage代码 # go get github.com/kubernetes-incubator/external-storage 同时要保证CephFS external provisioner依赖的package源码存在于$GOPATH/src目录下，如果有缺失，后面编译会报错，按照报错使用go get下载就行。 2) 编译、打包镜像、上传镜像进入CephFS external provisioner的源码目录： # cd $GOPATH/src/github.com/kubernetes-incubator/external-storage/ceph/cephfs 修改Makefile，将REGISTRY变量改成自己的镜像仓库地址，注意结尾要带/： # vim Makefile ifeq ($(REGISTRY),) REGISTRY = registry.example.com/ endif 修改Dockerfile，指定CEPH_VERSION与自己Ceph Cluster的版本一致： # vim Dockerfile ENV CEPH_VERSION "mimic" 编译，生成cephfs-provisioner二进制文件： # make 打包docker镜像，并上传到镜像仓库： # make push 3) 部署CephFS external provisioner 进入部署目录： # cd $GOPATH/src/github.com/kubernetes-incubator/external-storage/ceph/cephfs/deploy 修改镜像地址： # vim rbac/deployment.yaml image: "registry.example.com/cephfs-provisioner:latest" 修改希望部署到的namespace： # NAMESPACE=kube-system # sed -r -i "s/namespace: [^ ]+/namespace: $NAMESPACE/g" ./rbac/*.yaml 部署： # kubectl -n $NAMESPACE apply -f ./rbac 4) 创建cephfs StorageClass # echo ‘apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: cephfs provisioner: ceph.com/cephfs parameters: monitors: 10.32.3.70:6789,10.32.3.71:6789,10.32.3.72:6789 adminId: k8s adminSecretName: ceph-k8s-secret adminSecretNamespace: kube-system‘ | kubectl create -f - 5) 创建一个PersistentVolumeClaim # echo ‘apiVersion: v1 kind: PersistentVolumeClaim metadata: name: nginx-test-cephfs-pvc-03 annotations: volume.beta.kubernetes.io/storage-class: "cephfs" spec: accessModes: - ReadWriteMany resources: requests: storage: 100Mi’ | kubectl create -f - 6) 创建使用PVC的Pod # echo ‘apiVersion: v1 kind: Pod metadata: name: nginx-test-cephfs-03 spec: containers: - name: nginx-test-cephfs-03 image: registry.example.com/base/nginx:v1.0 volumeMounts: - name: pvc mountPath: "/data/" volumes: - name: pvc persistentVolumeClaim: claimName: nginx-test-cephfs-pvc-03’ | kubectl create -f - 7) 查看容器状态 # kubectl exec nginx-test-cephfs-03 -it -- /bin/bash # df -h Filesystem Size Used Avail Use% Mounted on 10.32.3.70:6789,10.32.3.71:6789,10.32.3.72:6789:/volumes/kubernetes/kubernetes-dynamic-pvc-6bfb0ff3-6980-11e8-aa58-5a90b87a7c36 5.2T 1.1G 5.2T 1% /data 7. 为CephFS StorageClass添加Quotas支持注意容器中CephFS的挂载方式，使用的是内核态mount，挂载目录的容量并不是PVC声明的100MiB，而是整个CephFS的可用大小。查看源码发现在Kubernetes 1.10之后的版本才会尝试用户态mount。而且目前使用的Kubernetes 1.10.4版本存在bug，ceph-fuse挂载时指定了-k参数，却没有指定-i或者-n参数，导致尝试使用ceph-fuse挂载会报错，最终后还是回退到内核态挂载。另外目前CephFS external provisioner中创建目录时，并没有指定ceph.quota.max_bytes属性，为了添加配额限制，需要修改代码。 1) 修改CephFS external provisioner CephFS external provisioner的结构比较简单，主要就是cephfs-provisioner.go和cephfs_provisioner.py两个文件。cephfs-provisioner.go是主程序，创建CephFS Provisioner。cephfs_provisioner.py 是对ceph_volume_client.CephFSVolumeClient的封装，方便调用。修改思路就是在CephFS中创建目录时指定size参数，底层的CephFSVolumeClient.create_volume()判断size存在时会调用setattr设置ceph.quota.max_bytes属性。具体修改内容可以参考这个PR。修改完后，重新执行第6步中的打包部署操作使之生效。 2) 修改Kubelet 由于1.10.4版本的kubelet存在bug，使用ceph-fuse挂载目录时指定了-k参数却没有指定-i或者-n参数，导致挂载报错。需要修改代码，加上-i参数。具体位置是kubernetes/pkg/volume/cephfs/cephfs.go的execFuseMount()函数，原来的mount参数： func (cephfsMounter *cephfsMounter) checkFuseMount() bool { … mountArgs := []string{} mountArgs = append(mountArgs, "-k") mountArgs = append(mountArgs, keyring_file) mountArgs = append(mountArgs, "-m") mountArgs = append(mountArgs, src) mountArgs = append(mountArgs, mountpoint) mountArgs = append(mountArgs, "-r") mountArgs = append(mountArgs, cephfsVolume.path) … } 追加两行： mountArgs = append(mountArgs, "--id") mountArgs = append(mountArgs, cephfsVolume.id) 如果使用的ceph-fuse版本低于Luminous，还要加上--client-quota参数： mountArgs = append(mountArgs, "--client-quota") 然后重新编译kubelet，替换安装文件，重启服务生效。编译方法参考《编译Kubelet二进制文件》。 3) 验证Quota 重新使用第6步的配置创建一个Pod，进入容器查看： # kubectl exec nginx-test-cephfs-03 -it -- /bin/bash root@nginx-test-cephfs-03:/# df -h Filesystem Size Used Avail Use% Mounted on ceph-fuse 100M 0 100M 0% /data 看到挂载方式是ceph-fuse，目录可用大小也是quota配置的100M。写入数据测试一下： # dd if=/dev/zero of=/data/test.bin bs=1M count=200 dd: error writing '/data/test.bin': Disk quota exceeded 123+0 records in 122+0 records out 128421888 bytes (128 MB, 122 MiB) copied, 4.32033 s, 29.7 MB/s # df -h Filesystem Size Used Avail Use% Mounted on ceph-fuse 100M 100M 0 100% /data Quota确实生效了。参考资料 CephFS Admin Tips – Create a new user and share kubernetes笔记: Cephfs

兰亭侠个人页面-阿里云开发者社区

个人介绍

擅长的技术

nova hypervisor接口添加host_ip字段

nova boot添加volume_type参数支持

Kubernetes添加带Quota限额的CephFS StorageClass

Kubernetes配置Ceph RBD StorageClass

编译Kubelet二进制文件

nova hypervisor接口添加host_ip字段

算法笔记--直接插入排序

算法笔记--希尔排序

算法笔记--冒泡排序

算法笔记--快速排序

算法笔记--直接选择排序

算法笔记--堆排序

算法笔记--归并排序

算法笔记--基数排序

算法笔记--八个常见排序算法总结

字符串匹配——Brute-Force 简单匹配算法

字符串匹配——KMP算法

最小生成树——Prim算法

最小生成树——Kruskal算法

neutron flat和vxlan网络访问外网流量走向

Cinder配置多Ceph后端步骤

Memcached配置失误引发的Keystone token丢失的问题

交换机广播抑制导致的虚拟机流量异常

编译Kubelet二进制文件

Kubernetes配置Ceph RBD StorageClass