AI 助理
文档备案控制台
开发者社区 阿里云容器服务 ACK 文章 正文

阿里云K8S服务支持CSI存储卷

2018-08-07 10390
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 目前阿里云CSI存储插件支持云盘、OSS、NAS等存储类型，并支持通过StorageClass创建动态存储卷； 开源地址：https://github.com/AliyunContainerService/csi-plugin

CSI插件简介

CSI是Container Storage Interface的简称，为容器编排系统和存储系统之间建立一套标准的存储调用接口。

Kubernetes支持CSI接口标准，并在1.10版本进入beta阶段。K8S除了支持CSI方式提供存储接口外，还有In-Tree方式、Flexvolume方式提供的各种存储接口。

In-Tree方式是嵌入在K8S源码内部的存储挂载实现，存在以下问题：

存储插件需要一同随K8S发布。
存储插件的问题有可能会影响K8S部件正常运行。
存储插件享有K8S部件同等的特权存在安全隐患。
存储插件开发者必须遵循K8S社区的规则开发代码。

FlexVolume机制通过调用一个可执行文件方式去实现挂载，它能够做到让存储提供方进行独立开发维护。

部署可执行文件时，需要host的root权限，依然存在安全隐患。
存储插件在执行mount、attach操作时，往往需要到host去安装第三方工具或加载依赖库，这样会使部署变得复杂。

CSI标准的出现解决了上述问题，后续K8S与存储系统的集成标准将全面支持CSI。

阿里云存储支持CSI Plugin

目前阿里云CSI存储插件支持云盘、OSS、NAS等存储类型，并支持通过StorageClass创建动态存储卷；

开源地址：https://github.com/AliyunContainerService/csi-plugin

插件的部署拓扑如下：
csi-disk.png

使用演示

云盘CSI Plugin部署

环境准备

  1. 通过阿里云容器服务[创建K8S集群]（1.10版本及以上），或者自己通过阿里云ECS服务器搭建K8S集群。
  2. 配置Kubelet启动参数：--enable-controller-attach-detach=true；

部署 CSI Attacher

# kubectl create -f attacher.yaml

CSI attacher使用0.2.0版本，attacher.yaml内容如下：

# This YAML file contains RBAC API objects,
# which are necessary to run external csi attacher for cinder.

apiVersion: v1
kind: ServiceAccount
metadata:
  name: csi-attacher

---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: external-attacher-runner
rules:
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["volumeattachments"]
    verbs: ["get", "list", "watch", "update"]

---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: csi-attacher-role
subjects:
  - kind: ServiceAccount
    name: csi-attacher
    namespace: default
roleRef:
  kind: ClusterRole
  name: external-attacher-runner
  apiGroup: rbac.authorization.k8s.io
---

kind: Service
apiVersion: v1
metadata:
  name: csi-attacher
  labels:
    app: csi-attacher
spec:
  selector:
    app: csi-attacher
  ports:
    - name: dummy
      port: 12345

---
kind: StatefulSet
apiVersion: apps/v1beta1
metadata:
  name: csi-attacher
spec:
  serviceName: "csi-attacher"
  replicas: 1
  template:
    metadata:
      labels:
        app: csi-attacher
    spec:
      tolerations:
      - effect: NoSchedule
        operator: Exists
        key: node-role.kubernetes.io/master
      - effect: NoSchedule
        operator: Exists
        key: node.cloudprovider.kubernetes.io/uninitialized
      nodeSelector:
         node-role.kubernetes.io/master: ""
      serviceAccount: csi-attacher
      containers:
        - name: csi-attacher
          image: registry.cn-hangzhou.aliyuncs.com/plugins/csi-attacher:v0.2.0
          args:
            - "--v=5"
            - "--csi-address=$(ADDRESS)"
          env:
            - name: ADDRESS
              value: /var/lib/kubelet/plugins/csi-diskplugin/csi.sock
          imagePullPolicy: "IfNotPresent"
          volumeMounts:
            - name: socket-dir
              mountPath: /var/lib/kubelet/plugins/csi-diskplugin
      volumes:
        - name: socket-dir
          hostPath:
            path: /var/lib/kubelet/plugins/csi-diskplugin
            type: DirectoryOrCreate

部署CSI Provsioner

# kubectl create -f provisioner.yaml

CSI provisioner使用0.2.0版本，内容如下：

apiVersion: v1
kind: ServiceAccount
metadata:
  name: csi-provisioner

---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: external-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["get", "list"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list", "watch", "create", "update", "patch"]

---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: csi-provisioner-role
subjects:
  - kind: ServiceAccount
    name: csi-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: external-provisioner-runner
  apiGroup: rbac.authorization.k8s.io

---
kind: Service
apiVersion: v1
metadata:
  name: csi-provisioner
  labels:
    app: csi-provisioner
spec:
  selector:
    app: csi-provisioner
  ports:
    - name: dummy
      port: 12345

---
kind: StatefulSet
apiVersion: apps/v1beta1
metadata:
  name: csi-provisioner
spec:
  serviceName: "csi-provisioner"
  replicas: 1
  template:
    metadata:
      labels:
        app: csi-provisioner
    spec:
      tolerations:
      - effect: NoSchedule
        operator: Exists
        key: node-role.kubernetes.io/master
      - effect: NoSchedule
        operator: Exists
        key: node.cloudprovider.kubernetes.io/uninitialized
      nodeSelector:
         node-role.kubernetes.io/master: ""
      serviceAccount: csi-provisioner
      containers:
        - name: csi-provisioner
          image: registry.cn-hangzhou.aliyuncs.com/plugins/csi-provisioner:v0.2.0
          args:
            - "--provisioner=csi-diskplugin"
            - "--csi-address=$(ADDRESS)"
            - "--v=5"
          env:
            - name: ADDRESS
              value: /var/lib/kubelet/plugins/csi-diskplugin/csi.sock
          imagePullPolicy: "IfNotPresent"
          volumeMounts:
            - name: socket-dir
              mountPath: /var/lib/kubelet/plugins/csi-diskplugin
      volumes:
        - name: socket-dir
          hostPath:
            path: /var/lib/kubelet/plugins/csi-diskplugin
            type: DirectoryOrCreate

部署Disk Plugin

Disk Plugin部署为DaemonSet应用，命令：

# kubectl create -f plugin.yaml

CSI driver-registrar使用0.2.0版本；

Socket地址设置为：/var/lib/kubelet/plugins/csi-diskplugin/csi.sock；

apiVersion: v1
kind: ServiceAccount
metadata:
  name: csi-diskplugin

---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: csi-diskplugin
rules:
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "update"]
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get", "list"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["volumeattachments"]
    verbs: ["get", "list", "watch", "update"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: csi-diskplugin
subjects:
  - kind: ServiceAccount
    name: csi-diskplugin
    namespace: default
roleRef:
  kind: ClusterRole
  name: csi-diskplugin
  apiGroup: rbac.authorization.k8s.io

---
# This YAML file contains driver-registrar & csi driver nodeplugin API objects,
# which are necessary to run csi nodeplugin for disk.

kind: DaemonSet
apiVersion: apps/v1beta2
metadata:
  name: csi-diskplugin
spec:
  selector:
    matchLabels:
      app: csi-diskplugin
  template:
    metadata:
      labels:
        app: csi-diskplugin
    spec:
      tolerations:
        - key: node-role.kubernetes.io/master
          operator: Exists
          effect: NoSchedule
      serviceAccount: csi-diskplugin
      hostNetwork: true
      hostPID: true
      containers:
        - name: driver-registrar
          image: registry.cn-hangzhou.aliyuncs.com/plugins/driver-registrar:v0.2.0
          args:
            - "--v=5"
            - "--csi-address=$(ADDRESS)"
          env:
            - name: ADDRESS
              value: /var/lib/kubelet/plugins/csi-diskplugin/csi.sock
            - name: KUBE_NODE_NAME
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
          volumeMounts:
            - name: socket-dir
              mountPath: /var/lib/kubelet/plugins/csi-diskplugin
        - name: csi-diskplugin
          securityContext:
            privileged: true
            capabilities:
              add: ["SYS_ADMIN"]
            allowPrivilegeEscalation: true
          image: registry.cn-hangzhou.aliyuncs.com/plugins/csi-diskplugin:v1.10-7424d08
          args :
            - "--nodeid=$(NODE_ID)"
            - "--endpoint=$(CSI_ENDPOINT)"
            - "--v=5"
          env:
            - name: NODE_ID
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
            - name: CSI_ENDPOINT
              value: unix://var/lib/kubelet/plugins/csi-diskplugin/csi.sock
          imagePullPolicy: "IfNotPresent"
          volumeMounts:
            - name: plugin-dir
              mountPath: /var/lib/kubelet/plugins/csi-diskplugin
            - name: pods-mount-dir
              mountPath: /var/lib/kubelet/pods
              mountPropagation: "Bidirectional"
            - mountPath: /dev
              name: host-dev
            - mountPath: /sys
              name: host-sys
            - mountPath: /lib/modules
              name: lib-modules
              readOnly: true
            - mountPath: /run/dbus
              name: host-run
              readOnly: true
            - mountPath: /var/log/alicloud
              name: host-log
      volumes:
        - name: plugin-dir
          hostPath:
            path: /var/lib/kubelet/plugins/csi-diskplugin
            type: DirectoryOrCreate
        - name: pods-mount-dir
          hostPath:
            path: /var/lib/kubelet/pods
            type: Directory
        - name: socket-dir
          hostPath:
            path: /var/lib/kubelet/plugins/csi-diskplugin
            type: DirectoryOrCreate
        - name: host-dev
          hostPath:
            path: /dev
        - name: host-run
          hostPath:
            path: /run/dbus
        - name: host-sys
          hostPath:
            path: /sys
        - name: lib-modules
          hostPath:
            path: /lib/modules
        - name: host-log
          hostPath:
            path: /var/log/alicloud/

部署检查

# kubectl get pod

NAME                                 READY     STATUS    RESTARTS   AGE
csi-attacher-0                       1/1       Running   0          1d
csi-diskplugin-5w7wz                 2/2       Running   0          1d
csi-diskplugin-j99h9                 2/2       Running   0          1d
csi-diskplugin-ljg9s                 2/2       Running   0          1d
csi-diskplugin-nhbfp                 2/2       Running   0          1d
csi-provisioner-0                    1/1       Running   0          1d

使用CSI插件挂载云盘

下面以创建动态云盘数据卷为例，介绍如何使用CSI插件挂载；

创建云盘StorageClass

定义一个SSD、ReadWrite、北京B区的StorageClass；

# kubectl create -f storageclass.yaml

storageclass.yaml内容如下：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
   name: csi-disk
provisioner: csi-diskplugin
parameters:
    zoneId: cn-beijing-b
    regionId: cn-beijing
    fsType: ext4
    type: cloud_ssd
    readOnly: "false"
reclaimPolicy: Delete

创建应用

创建Nginx服务并通过PVC挂载云盘，在PVC配置csi-disk storageClassName；

# kubectl create -f nginx.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: disk-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 25Gi
  storageClassName: csi-disk
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment1
  labels:
    app: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9
        ports:
        - containerPort: 80
        volumeMounts:
          - name: disk-pvc
            mountPath: "/data"
      volumes:
        - name: disk-pvc
          persistentVolumeClaim:
            claimName: disk-pvc

云盘挂载验证

查看nginx容器：

# kubectl get pod | grep nginx
# nginx-deployment1-5879d9db88-wr9j9   1/1       Running   0          1d

查看容器内挂载信息：

# kubectl exec -ti nginx-deployment1-5879d9db88-wr9j9 df | grep data
/dev/vdd        25671908   45084  24299720   1% /data
# kubectl exec -ti nginx-deployment1-5879d9db88-wr9j9 touch /data/aliyun
# kubectl exec -ti nginx-deployment1-5879d9db88-wr9j9 ls /data
aliyun    lost+found

删除容器，验证云盘高可用：

# kubectl delete pod nginx-deployment1-5879d9db88-wr9j9
# kubectl get pod
NAME                                 READY     STATUS    RESTARTS   AGE
nginx-deployment1-5879d9db88-mjb5p   1/1       Running   0          14s
# kubectl exec -ti nginx-deployment1-5879d9db88-mjb5p ls /data
aliyun    lost+found

上述操作通过CSI插件成功挂载阿里云云盘，并验证了应用数据的高可用性；

文章标签：
容器服务Kubernetes版
容器
存储
应用服务中间件
Kubernetes
nginx
关键词：
阿里云容器服务Kubernetes版
容器服务Kubernetes版服务
容器服务Kubernetes版存储
容器服务Kubernetes版阿里云
容器服务Kubernetes版csi
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
阚俊宝
目录
相关文章
南瓜佬
|
4月前
|
存储 Kubernetes 网络安全
关于阿里云 Kubernetes 容器服务（ACK）添加镜像仓库的快速说明
本文介绍了在中国大陆地区因网络限制无法正常拉取 Docker 镜像的解决方案。作者所在的阿里云 Kubernetes 集群使用的是较旧版本的 containerd（1.2x），且无法直接通过 SSH 修改节点配置，因此采用了一种无需更改 Kubernetes 配置文件的方法。通过为 `docker.io` 添加 containerd 的镜像源，并使用脚本自动修改 containerd 配置文件中的路径错误（将错误的 `cert.d` 改为 `certs.d`），最终实现了通过多个镜像站点拉取镜像。作者还提供了一个可重复运行的脚本，用于动态配置镜像源。虽然该方案能缓解镜像拉取问题，
南瓜佬
554 2
阿里云基础设施.
|
6月前
|
运维 Kubernetes 持续交付
ACK One GitOps：让全球化游戏服务持续交付更简单
ACK One GitOps 致力于提供开箱即用的多集群 GitOps 持续交付能力，简化游戏等服务的多集群/多地域统一部署，让您更加专注于业务开发。
阿里云基础设施.
172 0
码农小达人
|
11月前
|
Cloud Native Serverless 数据中心
阿里云ACK One：注册集群支持ACS算力——云原生时代的计算新引擎
阿里云ACK One：注册集群支持ACS算力——云原生时代的计算新引擎
码农小达人
344 10
探索云世界动手实践
|
11月前
|
Kubernetes 监控 Serverless
基于阿里云Serverless Kubernetes（ASK）的无服务器架构设计与实践
无服务器架构（Serverless Architecture）在云原生技术中备受关注，开发者只需专注于业务逻辑，无需管理服务器。阿里云Serverless Kubernetes（ASK）是基于Kubernetes的托管服务，提供极致弹性和按需付费能力。本文深入探讨如何使用ASK设计和实现无服务器架构，涵盖事件驱动、自动扩展、无状态设计、监控与日志及成本优化等方面，并通过图片处理服务案例展示具体实践，帮助构建高效可靠的无服务器应用。
探索云世界动手实践
623 5
技术小达人
|
10月前
|
安全 持续交付 云计算
课时5：阿里云容器服务：最原生的集成Docker和云服务
阿里云容器服务以服务化形式构建容器基础设施，大幅提升开发效率，简化应用部署流程。通过Docker容器和DevOps工具（如Jenkins），实现自动化部署与迭代，优化企业内部复杂部署问题。该服务支持GPU调度、混合云架构无缝迁移，并与阿里云产品体系无缝集成，提供安全防护、网络负载均衡等多重功能支持。凭借微服务架构，帮助企业突破业务瓶颈，提高资源利用率，轻松应对海量流量。
技术小达人
371 0
课时5：阿里云容器服务：最原生的集成Docker和云服务
码农小达人
|
11月前
|
Kubernetes 持续交付 开发工具
阿里云协同万兴科技落地ACK One GitOps方案，全球多机房应用自动化发布，效率提升50%
阿里云协同万兴科技落地ACK One GitOps方案，全球多机房应用自动化发布，效率提升50%
码农小达人
455 2
技术小达人
|
10月前
|
存储 监控 对象存储
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
技术小达人
313 0
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
码农小达人
|
11月前
|
存储 监控 对象存储
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
ACK 容器监控存储全面更新：让您的应用运行更稳定、更透明
码农小达人
237 1
阿里云基础设施.
|
10月前
|
存储 运维 Kubernetes
容器数据保护：基于容器服务 Kubernetes 版(ACK)备份中心实现K8s存储卷一键备份与恢复
阿里云ACK备份中心提供一站式容器化业务灾备及迁移方案，减少数据丢失风险，确保业务稳定运行。
阿里云基础设施.
428 0
码农小达人
|
11月前
|
弹性计算 监控 持续交付
面对热点事件，阿里云如何通过云上弹性与容器服务帮助客户应对流量洪峰
面对热点事件，阿里云如何通过云上弹性与容器服务帮助客户应对流量洪峰
码农小达人
280 0

阿里云容器服务 ACK

热门文章

最新文章

  • 1
    通过阿里云容器服务深度学习解决方案上手Caffe+多GPU训练
  • 2
    使用阿里云容器服务Kubernetes实现蓝绿发布功能
  • 3
    技术赋能无止境 Kubernetes Meetup 北京站完美闭幕
  • 4
    Kubernetes Meetup深秋成都行 Ghostcloud精灵云获好评如云
  • 5
    Docker 与 K8S学习笔记（三）—— 镜像的使用
  • 6
    在K8S中，如何实现金丝雀发布（灰度发布）？蓝绿发布？
  • 7
    阿里云云效流水线中的Java构建Docker镜像并推送到镜像仓库和Kubernetes镜像升级这两个节点的区别
  • 8
    有了k8s还需要gateway网关，nacos配置中心吗
  • 9
    【0831 - 0904直播导视 | PPT 下载】带你玩转ECS系列直播来啦、人人都能玩儿转AI、5步上手K8s
  • 10
    浅入kubernetes(5) 尝试kubeadm
  • 1
    阿里云ACK托管集群Pro版共享GPU调度操作指南
    372
  • 2
    ACK One 注册集群云端节点池升级：IDC 集群一键接入云端 GPU 算力，接入效率提升 80%
    276
  • 3
    基于 Azure DevOps 与阿里云 ACK 构建企业级 CI/CD 流水线
    533
  • 4
    关于阿里云 Kubernetes 容器服务（ACK）添加镜像仓库的快速说明
    554
  • 5
    ACK GIE配置建议
    417
  • 6
    ACK One GitOps：让全球化游戏服务持续交付更简单
    172
  • 7
    Ray on ACK 最佳实践，保障 AI 数据处理/训练/推理等环境的安全部署
    556
  • 8
    智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
    276
  • 9
    智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
    443
  • 10
    KubeRay on ACK：更高效、更安全
    537

    • 相关产品

  • 容器服务Kubernetes版
    文档详情 产品详情

    • 相关课程

    更多
  • 阿里云 EMR on ACK 实战
  • 阿里云K8S微服务部署案例
  • Kubernetes极速入门
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • Kubernetes云原生管理实践
  • Kubernetes入门

    • 相关电子书

    更多
  • ACK集群类型选择最佳实践
  • 容器服务重磅升级，打造高效安全、智能无界新平台
  • 《拥抱容器存储，使用阿里云容器服务 ACK +文件存储 NAS 构建现代化企业应用》

    • 推荐镜像

    更多
  • kubernetes
    • 下一篇
    附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用