开发者社区> blackpiglet> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

如何在 Kubernetes 环境中搭建 MySQL(四):使用 StorageClass 挂接 RBD

简介: MySQL + Kubernetes 1. 简介 在系列文章的第三篇中,讲到了如何使用 PV 和 PVC 挂载 RBD 上建立好的块存储镜像,但这还是不足以满足 cloud native 环境下的需求,试想如果部署一个应用,需要申请十个 R...
+关注继续查看
img_5f1bde87f6df351d0a1e7b85abfd3ec7.png
MySQL + Kubernetes

1. 简介

在系列文章的第三篇中,讲到了如何使用 PV 和 PVC 挂载 RBD 上建立好的块存储镜像,但这还是不足以满足 cloud native 环境下的需求,试想如果部署一个应用,需要申请十个 RBD images,PV 和 PVC 的方式下,就需要先手动在 ceph 集群上部署十个 image,这在实际操作时,是完全不可接受的,就算用 Webhook 机制调用脚本自动执行,也会存在一些问题,比如何时释放 RBD image,而且这样也增加了系统的复杂度,更易出错,所以最好是有 Kubernetes 的原生的解决方案。而 Kubernetes 确实提供这样的解决方案,就是本文要谈到的 StorageClass。

我对 StorageClass 的理解是: 对系统提供的存储能力进行抽象,并使用客户端与存储系统进行交互,来达到动态获取存储能力的目的。也就是说,客户端是要和 StorageClass 配套使用的,用哪种类型的存储,就需要启动对应的客户端,RBD 的客户端叫做 rbd-provisioner。

2. 配置 StorageClass

首先需要获取 ceph 的密钥:

$ ceph auth get-key client.admin | base64
QVFCTnFzMWFuMDNoRGhBQUVrMjlXNlZzYnN6Yk13bWZvVmt0bkE9PQ==

然后创建名为 ceph-secret 的 secret,后面的 StorageClass 会用到。

$ cat ceph-secret.yaml 
apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
type: "kubernetes.io/rbd"
data:
  key: QVFCTnFzMWFuMDNoRGhBQUVrMjlXNlZzYnN6Yk13bWZvVmt0bkE9PQ==

接下来看一下 StorageClass 配置文件的实例:

$ cat storage-class.yaml 
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: rbd
provisioner: ceph.com/rbd
parameters:
  monitors: 192.168.250.91:6789
  adminId: admin
  adminSecretName: ceph-secret
  adminSecretNamespace: default
  pool: rbd
  userId: admin
  userSecretName: ceph-secret
  fsType: ext4
  imageFormat: "2"
  imageFeatures: "layering"

大部分的内容和 PV 里的配置是一样的,那么就挑几个之前没有介绍过的参数说一下:

  • provisioner: 就是之前所说的客户端,官方文档中使用的 provisioner 是默认的 kubernetes.io/rbd,注意要改成 ceph.com/rbd,kubernetes.io/rbd 是无法正常使用的,原因是 kubernetes.io/rbd 会在 kube-controller-manager 镜像中查找 RBD 可执行文件,但默认的 kube-controller-manager 镜像是没有的,需要自己来定制镜像,具体细节可参考该链接:Error creating rbd image: executable file not found in $PATH。改为 "ceph.com/rbd" 后,使用的是外部的 RBD 可执行文件,具体的做法会在下一节中介绍。
  • adminId | userId:连接 ceph 的权限,admin 已存在,如果有需要创建其他用户,可以在 Ceph 集群中创建,并赋予对应的权限,简单使用的话,admin 也足够了。
  • adminSecretName:Ceph admin 所使用的密钥,复用之前创建的即可。
  • adminSecret。namespace:密钥所在的命名空间,默认是 default,如果修改为其他的话,需要修改 ceph-secret.yaml,增加 namespace字段:namespace-name

创建 StorageClass:

$ kubectl create -f storage-class.yaml
storageclass "rbd" created
$ kubectl get storageclass
NAME      TYPE
rbd       ceph.io/rbd

3. 配置 rbd-provisioner

首先要下载 kubernetes-incubator git 库,RBD 的内容存储在 external-storage/ceph/rbd/deploy/ 目录下。

$ git clone https://github.com/kubernetes-incubator/external-storage.git
$ tree external-storage/ceph/rbd/deploy/
├── README.md
├── non-rbac
│   └── deployment.yaml
└── rbac
    ├── clusterrole.yaml
    ├── clusterrolebinding.yaml
    ├── deployment.yaml
    └── serviceaccount.yaml

分为 RBAC 和 无 RBAC 两种部署方式,RBAC 就是基于角色的权限控制,kubeadm 搭建的 Kubernetes 集群默认开启了 RBAC,所以本文选用 RBAC 方式。external-storage 中提供的方式是部署在 default namespace 中的,如果要部署在其他 namespace 中,需要做对应的修改。

接下来就把 RBD provisioner 启动起来吧:

$ kubectl create -f external-storage/ceph/rbd/deploy/rbac/
clusterrole "rbd-provisioner" created
clusterrolebinding "rbd-provisioner" created
deployment "rbd-provisioner" created
serviceaccount "rbd-provisioner" create

$ kubectl get pod --selector app=rbd-provisioner
NAME                               READY     STATUS    RESTARTS   AGE
rbd-provisioner-6f4f7fcf5f-4gdmj   1/1       Running   0          6m

4. 挂载 StorageClass

一切就绪,接下来就试试能否动态的获取 RBD 存储空间吧。
先创建 PVC,看看 PVC 能否处于 bound 状态。

$ cat dynamic-volume-claim.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-dynamic-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: rbd
  resources:
    requests:
      storage: 1Gi

$ kubectl create -f dynamic-volume-claim.yaml
NAME                 STATUS    VOLUME                                     CAPACITY   ACCESS MODES         STORAGECLASS    AGE
mysql-dynamic-pvc    Bound     pvc-65ddafb2-6f9d-11e8-b243-d09466144cbf   1Gi        RWO                  rbd             5d

接下来再将该 PVC 挂载到 MySQL 实例上。

apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
  name: mysql
spec:
  selector:
    matchLabels:
      app: mysql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: mysql
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - name: mysql
        image: mysql:5.7
        env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mysql-secret
              key: ROOT_PASSWORD
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-persistent-storage
          mountPath: /var/lib/mysql
          subPath: mysql
          readOnly: false
      volumes:
      - name: mysql-persistent-storage
        persistentVolumeClaim:
          claimName: mysql-dynamic-pvc

至此完成 RBD 的动态挂载,下一篇文章来谈一谈如何使用 StatefulSet 部署主从同步的 MySQL 集群。

5. 参考资料

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
如何在 Kubernetes 环境中搭建 MySQL(三):使用 PVC 挂接 RBD
MySQL in Kubernetes MySQL 中的数据是关键信息,是有状态的,不可能随着 MySQL pod 的销毁而被销毁,所以数据必须要外接到一个可靠的存储系统中,目前已经有了 Ceph 系统,所以这里就只考虑如何将 Ceph 作为外部存储的情况,毕竟没有条件去尝试其他存储方案。
1859 0
自建Kubernetes集群如何使用免密组件拉取容器镜像
aliyun-acr-credential-helper是一个可以在ACK集群中免密拉取ACR个人版或企业版私有镜像的组件。该组件会默认安装在所有ACK集群中。本文列举四个场景介绍如何使用免密组件拉取私有镜像。
487 0
工作流在Kubernetes集群中的实践
本文主要介绍如何在ACK上基于工作流引擎进行大规模基因测序工作。阿里云工作流引擎基于开源项目Argo实现,支持并发、循环、重试等多种执行策略。
1663 0
如何有效可靠地管理大规模 Kubernetes 集群?
Kubernetes 的出现使得广大开发同学也能运维复杂的分布式系统,它大幅降低了容器化应用部署的门槛,但运维和管理一个生产级的高可用 Kubernetes 集群仍十分困难。本文将分享蚂蚁金服是如何有效可靠地管理大规模 Kubernetes 集群的,并会详细介绍集群管理系统核心组件的设计。
999 0
从零到破万节点!支撑618大促背后的蚂蚁金服Kubernetes集群
今年618天猫大促,蚂蚁首次在调度系统和技术栈全量应用Kubernetes,这也是世界最大规模的Kubernetes集群之一。这是由一个仅有十几人组成的小队团蚂蚁金服的 Kubernetes开发团队用短短一年时间取得的成绩。
2014 0
工作流在Kubernetes集群中的实践
本文主要介绍如何在ACK上基于工作流引擎进行大规模基因测序工作。阿里云工作流引擎基于开源项目Argo实现,支持并发、循环、重试等多种执行策略。 1. 创建集群: 拿到集群测试域名;c84e9207b8f6b49968cb5570aff4e6581.
2344 0
kubernetes集群问题排查
本文CSDN博客地址:http://blog.csdn.net/huwh_/article/details/71308301 1. 查看系统Event事件 [plain] view plain copy kubectl describe pod  --namespace=   该命令可以显示Pod创建时的配置定义、状态等信息和最近的Event事件,事件信息可用于排错。
3798 0
+关注
blackpiglet
云原生技术爱好者。
42
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载