AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Kubernetes: 利用NFS动态提供后端存储

2022-04-17 1324
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Kubernetes: 利用NFS动态提供后端存储

目录

Kubernetes: 利用NFS动态提供后端存储

pv, pvc和storageclass关系

前提条件

nfs-client-provisioner

安装部署

方式1: 使用Helm

配置

方式2: 不使用Helm

授权

如果启用了RBAC

修改deployment文件并部署 deploy/deployment.yaml

修改StorageClass文件并部署 deploy/class.yaml

测试

最新版本nfs-subdir-external-provisioner

参考链接:


Kubernetes: 利用NFS动态提供后端存储


pv, pvc和storageclass关系

一幅示意图描述：

从图中我们可以看到，在这个体系中：

  • PVC 描述的，是 Pod 想要使用的持久化存储的属性，比如存储的大小、读写权限等。
  • PV 描述的，则是一个具体的 Volume 的属性，比如 Volume 的类型、挂载目录、远程存储服务器地址等。
  • 而 StorageClass 的作用，则是充当 PV 的模板。并且，只有同属于一个 StorageClass 的 PV 和 PVC，才可以绑定在一起。

当然，StorageClass 的另一个重要作用，是指定 PV 的 Provisioner（存储插件）。这时候，如果你的存储插件支持 Dynamic Provisioning 的话，Kubernetes 就可以自动为你创建 PV 了。

  • Kubernetes 为我们提供了一套可以自动创建 PV 的机制，即：Dynamic Provisioning。相比之下，人工管理 PV 的方式就叫作 Static Provisioning。Dynamic Provisioning 机制工作的核心，在于一个名叫 StorageClass 的 API 对象。

容器持久化存储涉及的概念比较多，试着总结一下整体流程。

用户提交请求创建pod，Kubernetes发现这个pod声明使用了PVC，那就靠PersistentVolumeController帮它找一个PV配对。

没有现成的PV，就去找对应的StorageClass，帮它新创建一个PV，然后和PVC完成绑定。

新创建的PV，还只是一个API 对象，需要经过“两阶段处理”变成宿主机上的“持久化 Volume”才真正有用：

  1. 第一阶段由运行在master上的AttachDetachController负责，为这个PV完成 Attach 操作，为宿主机挂载远程磁盘；
  2. 第二阶段是运行在每个节点上kubelet组件的内部，把第一步attach的远程磁盘 mount 到宿主机目录。这个控制循环叫VolumeManagerReconciler，运行在独立的Goroutine，不会阻塞kubelet主循环。

完成这两步，PV对应的“持久化 Volume”就准备好了，POD可以正常启动，将“持久化 Volume”挂载在容器内指定的路径。

PV 描述的，是持久化存储数据卷。这个 API 对象主要定义的是一个持久化存储在宿主机上的目录，比如一个 NFS 的挂载目录。通常情况下，PV 对象是由运维人员事先创建在 Kubernetes 集群里待用的。

PVC 描述的，则是 Pod 所希望使用的持久化存储的属性。比如，Volume 存储的大小、可读写权限等等。

PVC 对象通常由开发人员创建；或者以 PVC 模板的方式成为 StatefulSet 的一部分，然后由 StatefulSet 控制器负责创建带编号的 PVC。

本文翻译自nfs-client-provisioner的说明文档，本文将介绍使用nfs-client-provisioner这个应用，利用NFS Server给Kubernetes作为持久存储的后端，并且动态提供PV。


前提条件

  1. 是有已经安装好的NFS服务器，并且NFS服务器与Kubernetes的Slave节点都能网络连通。
  2. 所有下文用到的文件来自于git clone https://github.com/kubernetes-incubator/external-storage.git的nfs-client目录。


nfs-client-provisioner

nfs-client-provisioner 是一个Kubernetes的简易NFS的外部provisioner，本身不提供NFS，需要现有的NFS服务器提供存储

  • PV以 ${namespace}-${pvcName}-${pvName}的命名格式提供（在NFS服务器上）
  • PV回收的时候以 archieved-${namespace}-${pvcName}-${pvName} 的命名格式（在NFS服务器上）


安装部署


方式1: 使用Helm

按照https://github.com/helm/charts/tree/master/stable/nfs-client-provisioner维护的helm chart的说明进行操作

helm install stable/nfs-client-provisioner --set nfs.server=xxxx --set nfs.path=/exported/path


配置

下表列出了此图表的可配置参数及其默认值。

范围 描述 默认
replicaCount 要部署的 Provisioner 实例数 1
strategyType 指定用于用新 Pod 替换旧 Pod 的策略 Recreate
image.repository 供应商仓库 quay.io/external_storage/nfs-client-provisioner
image.tag 供应商镜像的版本 v3.1.0-k8s1.11
image.pullPolicy 镜像拉取策略 IfNotPresent
storageClass.name 存储类名称 nfs-client
storageClass.defaultClass 设置为默认 StorageClass false
storageClass.allowVolumeExpansion 允许扩大存储量 true
storageClass.reclaimPolicy 用于回收废弃卷的方法 Delete
storageClass.provisionerName 供应商名称名称 空值
storageClass.archiveOnDelete 删除时归档 pvc true
storageClass.accessModes 设置 PV 访问模式 ReadWriteOnce
nfs.server NFS 服务器的主机名 null（IP 或主机名）
nfs.path 要使用的挂载点的基本路径 /ifs/kubernetes
nfs.mountOptions 挂载选项（例如’nfsvers=3’） 空值
resources 所需资源（例如 CPU、内存） {}
rbac.create 使用基于角色的访问控制 true
podSecurityPolicy.enabled 创建和使用 Pod 安全策略资源 false
priorityClassName 设置 pod priorityClassName 空值
serviceAccount.create 我们应该创建一个 ServiceAccount true
serviceAccount.name 要使用的 ServiceAccount 的名称 空值
nodeSelector Pod 分配的节点标签 {}
affinity 亲和度设置 {}
tolerations 要容忍的节点污点列表 []

其中使用https://github.com/helm/charts/tree/master/stable/nfs-server-provisioner包括一个内置的 NFS 服务器，并不用于连接到预先存在的 NFS 服务器。


方式2: 不使用Helm


授权

如果你的集群启用了RBAC，或者你正在运行OpenShift，则必须授权provisioner。

如果你在非默认的default名称空间/项目之外部署，可以编辑deploy/auth/clusterrolebinding.yaml或编辑oadm policy指令。


如果启用了RBAC

需要执行如下的命令来授权。

kubectl create -f deploy/auth/serviceaccount.yaml
serviceaccount "nfs-client-provisioner" created
kubectl create -f deploy/auth/clusterrole.yaml
clusterrole "nfs-client-provisioner-runner" created
kubectl create -f deploy/auth/clusterrolebinding.yaml
clusterrolebinding "run-nfs-client-provisioner" created
kubectl patch deployment nfs-client-provisioner -p '{"spec":{"template":{"spec":{"serviceAccount":"nfs-client-provisioner"}}}}'


修改deployment文件并部署 deploy/deployment.yaml

需要修改的地方只有NFS服务器所在的IP地址（10.0.0.200），以及NFS服务器共享的路径（/nfs），两处都需要修改为你实际的NFS服务器和共享目录

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              # 必须与class.yaml中的provisioner的名称一致
              value: fuseim.pri/ifs
            - name: NFS_SERVER
              # NFS服务器的ip地址
              value: 10.0.0.200
            - name: NFS_PATH
              # 修改为实际创建的共享挂载目录
              value: /nfs
      volumes:
        - name: nfs-client-root
          nfs:
            # NFS服务器的ip地址
            server: 10.0.0.200
            # 修改为实际创建的共享挂载目录
            path: /nfs


修改StorageClass文件并部署 deploy/class.yaml

此处可以不修改，或者修改provisioner的名字，需要与上面的deployment的PROVISIONER_NAME名字一致。

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              # 必须与class.yaml中的provisioner的名称一致
              value: fuseim.pri/ifs
            - name: NFS_SERVER
              # NFS服务器的ip地址
              value: 10.0.0.200
            - name: NFS_PATH
              # 修改为实际创建的共享挂载目录
              value: /nfs
      volumes:
        - name: nfs-client-root
          nfs:
            # NFS服务器的ip地址
            server: 10.0.0.200
            # 修改为实际创建的共享挂载目录
            path: /nfs


测试

测试创建PVC

  • kubectl create -f deploy/test-claim.yaml

测试创建POD

  • kubectl create -f deploy/test-pod.yaml

在NFS服务器上的共享目录下的卷子目录中检查创建的NFS PV卷下是否有"SUCCESS" 文件。

[root@node2 ~]# cd /nfs/
[root@node2 nfs]# ll
total 4
drwxrwxrwx 2 root root  6 Oct 27 14:15 default-test-claim-pvc-f37dbcf5-bf9d-402c-9350-0b3b2efd9979
-rw-r--r-- 1 root root 19 Oct 26 10:49 index.txt
[root@node2 nfs]# cd default-test-claim-pvc-f37dbcf5-bf9d-402c-9350-0b3b2efd9979/
[root@node2 default-test-claim-pvc-f37dbcf5-bf9d-402c-9350-0b3b2efd9979]# ll
total 0
-rw-r--r-- 1 root root 0 Oct 27 14:19 SUCCESS


删除测试POD

  • kubectl delete -f deploy/test-pod.yaml

删除测试PVC

  • kubectl delete -f deploy/test-claim.yaml

在NFS服务器上的共享目录下查看NFS的PV卷回收以后是否名字以archived开头。


[root@node2 nfs]# ll
total 4
drwxrwxrwx 2 root root 21 Oct 27 14:19 archived-default-test-claim-pvc-f37dbcf5-bf9d-402c-9350-0b3b2efd9979
-rw-r--r-- 1 root root 19 Oct 26 10:49 index.txt


最新版本nfs-subdir-external-provisioner

这个仓库是从https://github.com/kubernetes-incubator/external-storage/tree/master/nfs-client迁移过来的。作为迁移的一部分：

  • 容器镜像名称和存储库已分别更改为k8s.gcr.io/sig-storage和nfs-subdir-external-provisioner。
  • 为了保持与早期部署文件的向后兼容性，NFS Client Provisioner 的命名保留nfs-client-provisioner在部署 YAML 中。
#
helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/
# 
helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
    --set nfs.server=x.x.x.x \
    --set nfs.path=/exported/path

我的命令

# 安装
helm install /usr/local/jt/nfs-subdir-external-provisioner \
    --name nfs-storage \
    --namespace=big-data \
    --set nfs.server=10.0.0.200 \
    --set nfs.path=/nfs \
    --set storageClass.name=managed-nfs-storage
# 安装    
helm delete my-release

https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner


参考链接:

https://github.com/kubernetes-retired/external-storage/tree/master/nfs-client

https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner

https://jimmysong.io/kubernetes-handbook/practice/using-nfs-for-persistent-storage.html#


文章标签：
容器服务Kubernetes版
Perl
开发工具
容器
运维
数据安全/隐私保护
Kubernetes
git
API
存储
关键词：
容器服务Kubernetes版存储
容器服务Kubernetes版nfs
容器服务Kubernetes版nfs存储
NFS存储
后端存储
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
萤火AI百宝箱
目录
相关文章
阿里云云原生
|
8月前
|
存储 监控 对象存储
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
针对本地存储和 PVC 这两种容器存储使用方式，我们对 ACK 的容器存储监控功能进行了全新升级。此次更新完善了对集群中不同存储类型的监控能力，不仅对之前已有的监控大盘进行了优化，还针对不同的云存储类型，上线了全新的监控大盘，确保用户能够更好地理解和管理容器业务应用的存储资源。
阿里云云原生
561 271
技术小达人
|
6月前
|
存储 监控 对象存储
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
技术小达人
152 0
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
阿里云基础设施.
|
6月前
|
存储 运维 Kubernetes
容器数据保护：基于容器服务 Kubernetes 版(ACK)备份中心实现K8s存储卷一键备份与恢复
阿里云ACK备份中心提供一站式容器化业务灾备及迁移方案，减少数据丢失风险，确保业务稳定运行。
阿里云基础设施.
230 0
码农小达人
|
7月前
|
存储 监控 对象存储
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
码农小达人
119 1
阿里云基础设施.
|
8月前
|
存储 监控 对象存储
ACK容器监控存储全面更新：让您的应用运行更稳定、更透明
介绍升级之后的ACK容器监控体系，包括各大盘界面展示和概要介绍。
阿里云基础设施.
173 21
蓝易云
|
8月前
|
存储 Kubernetes 安全
k8s存储类型：emptyDir、hostPath、nfs、pvc及存储类storageclass的静态/动态创建pv
Kubernetes提供了多种存储类型，满足不同的应用需求。`emptyDir`和 `hostPath`适用于临时和宿主机存储需求，`nfs`适用于共享存储，`PersistentVolumeClaim`和 `StorageClass`实现了持久存储的灵活管理。通过理解和配置这些存储类型，可以有效提升Kubernetes集群的存储管理能力。
蓝易云
355 13
风水道人
|
Linux
Linux安装NFS挂载NFS卸载客户端服务端都有
Linux安装NFS挂载NFS卸载客户端服务端都有
风水道人
335 0
凉开水白菜
|
Ubuntu 网络协议 Unix
【Linux】新唐NUC977挂载NFS实现网络文件传输
【Linux】新唐NUC977挂载NFS实现网络文件传输
凉开水白菜
197 0
囚徒冇困境
|
Linux Shell Windows
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
囚徒冇困境
854 0
人不走空
|
存储 监控 网络协议
【Linux】文件服务NFS（Network File System）
【Linux】文件服务NFS（Network File System）
人不走空
266 0

热门文章

最新文章

  • 1
    关于阿里云 Kubernetes 容器服务（ACK）添加镜像仓库的快速说明
  • 2
    基于 Azure DevOps 与阿里云 ACK 构建企业级 CI/CD 流水线
  • 3
    专业打造一款圈子源码软件系统 / 后端 PHP 搭建部署一样实现利益化
  • 4
    一直想做前端工程师的后端程序员
  • 5
    通用后端开发说明及开发规范
  • 6
    数字化只是后端效率，驱动消费者下单的原因，数字完不成
  • 7
    我的架构经验系列文章 - 后端架构 - 语言层面
  • 8
    layui框架实战案例(22)：多附件上传实战开发实录(php后端、文件删除、数据库删除)
  • 9
    后端码农谈前端（CSS篇）第八课：继承与层叠
  • 10
    我的架构经验系列文章 - 后端架构 - 安全层面
  • 1
    Kubernetes 的配置资源 ConfigMap（01部分）
    204
  • 2
    K8S集群管理：用名字空间分隔系统资源
    104
  • 3
    如何在 Kubernetes 中创建 Pod
    494
  • 4
    如何在 Kubernetes 中使用命名空间
    608
  • 5
    Kubernetes容器运行时：Containerd vs Docke
    1250
  • 6
    Docker系列.Docker Desktop中如何启用Kubernetes
    1450
  • 7
    运维开发.Kubernetes探针与应用
    483
  • 8
    基于Kubernetes v1.25.0和Docker部署高可用集群（03部分）
    258
  • 9
    AHPA：Kubernetes弹性伸缩的预言家，揭秘未来资源使用的神秘面纱！
    211
  • 10
    eBPF技术大揭秘：一张全景图彻底改变Kubernetes问题排查，助你成为云原生时代的超级英雄！
    270

    • 相关课程

    更多
  • 阿里云 EMR on ACK 实战
  • 阿里云K8S微服务部署案例
  • Kubernetes极速入门
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • Kubernetes云原生管理实践
  • Kubernetes入门

    • 相关电子书

    更多
  • ACK 云原生弹性方案—云原生时代的加速器
  • ACK集群类型选择最佳实践
  • 企业运维之云原生和Kubernetes 实战

    • 推荐镜像

    更多
  • kubernetes
    • 下一篇
    2025云栖大会，阿里云百炼邀请您的参与和见证