K8S自己动手系列 - 2.5 - StatefulSet & Grafana

前言

前面的实验，我们通过Deployment+PV/PVC，部署了mysql，wordpress，并通过NodePort类型的Service对服务进行暴露，使集群外可以访问，但是当replicas大于1时，Deployment产生的多个POD是共享一个PV的，这样在性能及业务上都有可能是有问题的，这种情况我们就应该考虑StatefulSet，在官网上StatefulSet用了Mysql的主从作为例子，但是笔者认为Mysql主从本身与Mysql的知识有关，并且例子更偏向于实践拓扑结构的有状态服务，所以后面的实验，我基于目前比较流行，也比较简单的监控系统Grafana+Prometheus来进行实验。

场景

使用StatefulSet部署grafana，使用PV & PVC持久化保存数据。
本文实验所有的源码保存在：
https://github.com/zrbcool/blog-public/tree/master/k8s-hands-on/lab08

动手

准备PV & PVC

 kubectl apply -f 01-1-grafana-pvc.yaml 
persistentvolumeclaim/grafana-pv-claim created
 mkdir -p /data/pv/grafana
 kubectl apply -f 01-2-grafana-pv.yaml 
persistentvolume/grafana-pv-volume created
 kubectl get pvc
NAME               STATUS   VOLUME              CAPACITY   ACCESS MODES   STORAGECLASS   AGE
grafana-pv-claim   Bound    grafana-pv-volume   2Gi        RWX                           24m

如果此处不明白或者有问题，请参考前面讲过的K8S自己动手系列 - 2.3 - PV & PVC

用StatefulSet创建Grafana，使用PVC作为持久化存储

 kubectl apply -f 01-3-grafana-statefulset.yaml 
statefulset.apps/monitor-grafana created
 kubectl get pods
NAME                READY   STATUS             RESTARTS   AGE
monitor-grafana-0   0/1     CrashLoopBackOff   3          2m2s
 kubectl logs monitor-grafana-0
GF_PATHS_DATA='/var/lib/grafana' is not writable.
You may have issues with file permissions, more information here: http://docs.grafana.org/installation/docker/#migration-from-a-previous-version-of-the-docker-container-to-5-1-or-later
mkdir: cannot create directory '/var/lib/grafana/plugins': Permission denied

启动失败了，提示也很清楚是权限问题，也给了解决方案

# 参考文章 http://docs.grafana.org/installation/docker/#migration-from-a-previous-version-of-the-docker-container-to-5-1-or-later
# 修改文件权限
 chown -R 472:472 /data/pv/grafana
# 增加POD配置（我们的01-3-grafana-statefulset.yaml已经加好了）
      securityContext:
        runAsGroup: 472
        runAsUser: 472
        fsGroup: 472

执行上述操作后仍然是不行，最后经过排查发现，POD被调度到worker02节点上了，因为我们的PV使用的Local类型，worker02上并没有这个目录，所以无法创建成功，参考前面的K8S自己动手系列 - 1.3 - Taint & Affinity增加nodeSelector指定节点调度

...
  template:
    metadata:
      labels:
        app: monitor
        type: grafana
    spec:
      nodeSelector:
        kubernetes.io/hostname: worker01 #这个请根据需要修改到你指定的节点上，或者你使用其他的持久化存储方式，则可能没有我这个问题，比如nfs

成功！

 kubectl get pods -o wide
NAME                READY   STATUS    RESTARTS   AGE     IP            NODE       NOMINATED NODE   READINESS GATES
monitor-grafana-0   1/1     Running   0          3m19s   10.244.0.93   worker01   <none>           <none>

最后生效的yaml文件如下：

apiVersion: apps/v1
kind: StatefulSet
metadata:
  labels:
    app: monitor
    type: grafana
  name: monitor-grafana
spec:
  replicas: 1 
  selector:
    matchLabels:
      app: monitor
      type: grafana
  serviceName: grafana
  template:
    metadata:
      labels:
        app: monitor
        type: grafana
    spec:
      nodeSelector:
        kubernetes.io/hostname: worker01 #保证调度到我们创建了本地目录的主机上
      containers:
      - name: grafana
        image: grafana/grafana:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 3000
          name: grafana
        volumeMounts:
        - name: grafana-pv-storage
          mountPath: /var/lib/grafana
      securityContext:
        runAsGroup: 472
        runAsUser: 472
        fsGroup: 472
      volumes:
      - name: grafana-pv-storage
        persistentVolumeClaim:
          claimName: grafana-pv-claim

使用Service暴露grafana，使可以在集群外访问

 kubectl apply -f 01-4-grafana-svc.yaml 
service/grafana-svc created

如果这块有疑问，可以回顾K8S自己动手系列 - 2.4 - Service
现在我们的grafana可以访问了，如图所示：