如何在Kubernetes集群动态使用 NAS 持久卷

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 介绍: 本文介绍的动态生成NAS存储卷的方案:在一个已有文件系统上,自动生成一个目录,这个目录定义为目标存储卷; 镜像地址:registry.cn-hangzhou.aliyuncs.com/acs/alicloud-nas-controller:v1.11.5.4-433631d-aliyun 默认生成资源:生成的PV名字为:pvc-${pvc-uid}生成目录的名字:namespace-pvcname-pvname 可以再pvc的annotations中如下声明,自定义名字:生成的pv、目录名字为下面定义的名字。

1. 介绍:

本文介绍的动态生成NAS存储卷的方案:在一个已有文件系统上,自动生成一个目录,这个目录定义为目标存储卷;

镜像地址:registry.cn-hangzhou.aliyuncs.com/acs/alicloud-nas-controller:v1.11.5.4-433631d-aliyun

默认生成资源:
生成的PV名字为:pvc-${pvc-uid}
生成目录的名字:namespace-pvcname-pvname

可以再pvc的annotations中如下声明,自定义名字:
生成的pv、目录名字为下面定义的名字。

  annotations:
    pv-name-created: replace-user-id

2. 部署NAS Controller

创建alicloud-nas-controller,实现动态provider nas pv;
创建alicloud-nas storageclass,为nas pv provision 提供模板;

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: alicloud-nas
provisioner: alicloud/nas
reclaimPolicy: Delete
parameters:
  drivertype: flexvolume
  nfsversion: "4.0"
  options: ""

---
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: alicloud-nas-controller
  namespace: kube-system
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: alicloud-nas-controller
    spec:
      tolerations:
      - effect: NoSchedule
        operator: Exists
        key: node-role.kubernetes.io/master
      - effect: NoSchedule
        operator: Exists
        key: node.cloudprovider.kubernetes.io/uninitialized
      serviceAccount: admin
      containers:
        - name: alicloud-nas-controller
          image: registry.cn-hangzhou.aliyuncs.com/acs/alicloud-nas-controller:v1.11.5.4-433631d-aliyun
          imagePullPolicy: Always
          volumeMounts:
          - mountPath: /persistentvolumes
            name: nfs-client-root
          env:
            - name: NFS_SERVER
              value: 154154b095-**.cn-beijing.nas.aliyuncs.com
            - name: NFS_PATH
              value: /
      volumes:
      - name: nfs-client-root
        flexVolume:
          driver: alicloud/nas
          options:
            path: /
            server: 154154b095-**.cn-beijing.nas.aliyuncs.com
            vers: "4.0"

StorageClass使用说明:

drivertype: 用来表示生成pv存储类型,可选nfs, flexvolume.
    nfs: 默认选项,表示使用k8s原生NFS驱动挂载;
    flexvolume: 表示使用阿里云提供的Flexvolume NAS驱动挂载;

nfsversion: 挂载nfs使用的版本,支持3,4.0.默认为4.0;
    drivertype为flexvolume的时候在这里配置;
    为nfs的时候通过mountOptions 配置;

options:为挂载nfs的可选项配置;
    drivertype为flexvolume的时候在这里配置;
    为nfs的时候通过mountOptions 配置;

StorageClass举例:

## 使用kubernetes提供的NFS驱动,并配置mountOptions,reclaimPolicy为Delete;
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: alicloud-nas-nfs
mountOptions:
- vers=4.0
- noresvport
provisioner: alicloud/nas
reclaimPolicy: Delete

## 使用阿里云提供的Flexvolume NAS驱动,配置nfs版本、options;
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: alicloud-nas-flex
provisioner: alicloud/nas
reclaimPolicy: Delete
parameters:
  drivertype: flexvolume
  nfsversion: "3"
  options: "noresvport"

3. 创建应用-Deployment:

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: replace-user-id
  annotations:
    pv-name-created: replace-user-id
spec:
  storageClassName: alicloud-nas
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: "deploy-nas"
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: deploy-nas
    spec:
      containers:
        - name: "nginx"
          image: "nginx"
          volumeMounts:
              - name: pvc-nas
                mountPath: "/data"
      volumes:
      - name: pvc-nas
        persistentVolumeClaim:
            claimName: replace-user-id

执行:
# userID="hello-123"
# cat deploy.yaml | sed  "s/replace-user-id/\"$userID\"/g" | kubectl create -f -

# kubectl get pod | grep deploy-nas
deploy-nas-85696b6bfc-t5dmh         1/1       Running          0          28m

# kubectl get pvc | grep hell
hello-123       Bound     hello-123                                  5Gi        RWX            alicloud-nas-flex   28m

# kubectl get pv | grep hell
hello-123                                  5Gi        RWX            Delete           Bound      default/hello-123       alicloud-nas-flex                       28m

# Nas目录下查看生成目录:
# ls -l | grep hello
drwxrwxrwx  2 root root 4096 2月  19 09:58 hello-123

4. 创建应用-StatefulSet:

使用volumeTemplateClaim不支持使用pv-name-created配置pv名字;

apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
  name: web
spec:
  replicas: 2
  serviceName: "nginx"
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        volumeMounts:
        - mountPath: "/data"
          name: pvc-sts
  volumeClaimTemplates:
  - metadata:
      name: pvc-sts
    spec:
      accessModes:
        - ReadWriteOnce
      storageClassName: alicloud-nas-flex
      resources:
        requests:
          storage: 2Gi
          
创建后查看:
# kubectl get pod | grep web
web-0                               1/1       Running          0          7s
web-1                               1/1       Running          0          4s

# kubectl get pvc | grep web
pvc-sts-web-0   Bound     pvc-65ab251a-33ec-11e9-a151-00163e066784   2Gi        RWO            alicloud-nas-flex   13m
pvc-sts-web-1   Bound     pvc-8437c50e-33ed-11e9-a151-00163e066784   2Gi        RWO            alicloud-nas-flex   5m

# kubectl get pv | grep web
pvc-65ab251a-33ec-11e9-a151-00163e066784   2Gi        RWO            Delete           Bound      default/pvc-sts-web-0   alicloud-nas-flex                       13m
pvc-8437c50e-33ed-11e9-a151-00163e066784   2Gi        RWO            Delete           Bound      default/pvc-sts-web-1   alicloud-nas-flex                       5m

# Nas目录下查看生成目录:
# ls -l | grep sts
drwxrwxrwx  2 root root 4096 2月  19 10:16 default-pvc-sts-web-0-pvc-65ab251a-33ec-11e9-a151-00163e066784
drwxrwxrwx  2 root root 4096 2月  19 10:24 default-pvc-sts-web-1-pvc-8437c50e-33ed-11e9-a151-00163e066784

5. 创建应用-Pod:

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: replace-user-id
  annotations:
    pv-name-created: replace-user-id
spec:
  storageClassName: alicloud-nas-flex
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: "nas-pod"
spec:
  containers:
    - name: "nginx"
      image: "nginx"
      volumeMounts:
          - name: pvc-nas
            mountPath: "/data"
  volumes:
  - name: pvc-nas
    persistentVolumeClaim:
        claimName: replace-user-id
       
# userID="pod-123"
# cat pod.yaml | sed  "s/replace-user-id/\"$userID\"/g" | kubectl create -f -

# kubectl get pod | grep pod
nas-pod                             1/1       Running          0          32s

# kubectl get pvc | grep pod
pod-123         Bound     pod-123                                    5Gi        RWX            alicloud-nas-flex   44s

# kubectl get pv | grep pod
pod-123                                    5Gi        RWX            Delete           Bound      default/pod-123         alicloud-nas-flex                       48s

# ls -l | grep pod
drwxrwxrwx  2 root root 4096 2月  19 10:54 pod-123
相关实践学习
函数计算部署PuLID for FLUX人像写真实现智能换颜效果
只需一张图片,生成程序员专属写真!本次实验在函数计算中内置PuLID for FLUX,您可以通过函数计算+Serverless应用中心一键部署Flux模型,快速体验超写实图像生成的魅力。
目录
相关文章
|
4月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型:ACK One 多集群应用分发
本文介绍如何利用阿里云的分布式云容器平台ACK One的多集群应用分发功能,结合云效CD能力,快速将单集群CD系统升级为多集群CD系统。通过增加分发策略(PropagationPolicy)和差异化策略(OverridePolicy),并修改单集群kubeconfig为舰队kubeconfig,可实现无损改造。该方案具备多地域多集群智能资源调度、重调度及故障迁移等能力,帮助用户提升业务效率与可靠性。
|
4月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型:ACK One 多集群应用分发
ACK One 的多集群应用分发,可以最小成本地结合您已有的单集群 CD 系统,无需对原先应用资源 YAML 进行修改,即可快速构建成多集群的 CD 系统,并同时获得强大的多集群资源调度和分发的能力。
131 9
|
6月前
|
存储 Kubernetes 监控
K8s集群实战:使用kubeadm和kuboard部署Kubernetes集群
总之,使用kubeadm和kuboard部署K8s集群就像回归童年一样,简单又有趣。不要忘记,技术是为人服务的,用K8s集群操控云端资源,我们不过是想在复杂的世界找寻简单。尽管部署过程可能遇到困难,但朝着简化复杂的目标,我们就能找到意义和乐趣。希望你也能利用这些工具,找到你的乐趣,满足你的需求。
539 33
|
6月前
|
Kubernetes 开发者 Docker
集群部署:使用Rancher部署Kubernetes集群。
以上就是使用 Rancher 部署 Kubernetes 集群的流程。使用 Rancher 和 Kubernetes,开发者可以受益于灵活性和可扩展性,允许他们在多种环境中运行多种应用,同时利用自动化工具使工作负载更加高效。
315 19
|
6月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度,可以帮助您在不影响集群中正在运行的在线业务的前提下,打破资源边界,根据各集群实际剩余资源来进行调度,最大化您多集群中闲置资源的利用率。
|
9月前
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障,介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案:包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
|
6月前
|
Prometheus Kubernetes 监控
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
193 0
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
|
8月前
|
缓存 容灾 网络协议
ACK One多集群网关:实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统,以及异地容灾系统。
|
7月前
|
运维 分布式计算 Kubernetes
ACK One多集群Service帮助大批量应用跨集群无缝迁移
ACK One多集群Service可以帮助您,在无需关注服务间的依赖,和最小化迁移风险的前提下,完成跨集群无缝迁移大批量应用。
|
9月前
|
Kubernetes Ubuntu 网络安全
ubuntu使用kubeadm搭建k8s集群
通过以上步骤,您可以在 Ubuntu 系统上使用 kubeadm 成功搭建一个 Kubernetes 集群。本文详细介绍了从环境准备、安装 Kubernetes 组件、初始化集群到管理和使用集群的完整过程,希望对您有所帮助。在实际应用中,您可以根据具体需求调整配置,进一步优化集群性能和安全性。
578 13

相关产品

  • 容器服务Kubernetes版
  • 推荐镜像

    更多