基于容器服务 ACK 发行版打造 CNStack 社区版

作者：临石

CNStack 社区版（CNStack Community Edition, CNStack CE）是阿里云云原生 Stack（CNStack）产品家族中的一员。CNStack 社区版可以免费下载使用，支持在有限的资源上进行部署和运行。CNStack 社区版使用 sealer 进行打包和交付，采用容器服务 ACK 发行版（ACK Distro）作为 Kubernetes 基础。

本文将介绍：（1）如何使用 ACK Distro 作为基础镜像打造 CNStack 社区版。您可以将这个过程看做是以 ACK Distro 为基础镜像，利用 sealer 打包和交付应用的一个例子（2）CNStack 社区版中的容器服务 ACK 敏捷版产品如何帮助用户更好的使用容器平台能力

容器服务 ACK 敏捷版是第一个集成到 CNStack 社区版的阿里云云原生产品

基于 ACK Distro 构建 CNStack 社区版

当前 CNStack 社区版发布的内容包括了“容器服务 ACK 敏捷版”部分，使用 sealer 的集群镜像技术对产品进行打包和交付。ACK Distro 和容器服务 ACK 敏捷版组成的 CNStack 社区版集群镜像结构如下。

基于 ACK Distro 制作 CNStack 社区版集群镜像

CNStack 社区版采用 ACK Distro 作为 Kubernetes 基础镜像，通过 sealer 打包新的集群镜像。

关于集群镜像概念，请参考文末 sealer 官网

社区版集群通过集群镜像文件 Kubefile 完成了以下工作：

• 在部署 ACK Distro 前对环境进行必要的配置（如创建 CNStack 社区版应用所需的本地目录）
• 声明和部署 CNStack 社区版的组件和配置
• 对部署完成的 ACK Distro 集群进行配置

Kubefile 内容如下：

# 采用ack-distro:v1.20.4-ack-2作为基础镜像
FROM ack-agility-registry.cn-shanghai.cr.aliyuncs.com/ecp_builder/ackdistro:v1.20.4-ack-2
COPY imageList manifests
COPY kubeadm-cluster-config.yaml.tmpl etc
# 部署/清理阶段的prehook和posthook
COPY plugin_localpv.yaml plugin
COPY plugin_iptables.yaml plugin
COPY plugin_clean.yaml plugin
# 组件的chart和配置文件
COPY ../component/charts/localpv charts
COPY ../component/charts/aecp-installer-operator charts
COPY ../component/charts/aecp charts
COPY ../component/charts/cluster-addon-configuration charts
COPY ../component/clusterconfig.yaml manifests
# 部署组件
CMD helm install localpv charts/localpv
CMD helm install aecp-installer-operator charts/aecp-installer-operator
CMD helm install aecp charts/aecp
# 基于ACK-Distro部署的集群，针对ACK敏捷版进行配置
CMD kubectl create ns cluster-local
CMD kubectl -n kube-system scale deploy hybridnet-webhook --replicas=1
CMD kubectl -n kube-system scale deploy hybridnet-manager --replicas=1
CMD kubectl taint nodes $(hostname | tr A-Z a-z) node-role.kubernetes.io/master=:NoSchedule-
CMD kubectl label nodes $(hostname | tr A-Z a-z) lb=nginx
CMD kubectl label nodes $(hostname | tr A-Z a-z) addon-local-repo=true
# 等待组件ready。视机器性能不同，等待时间有差别，在我们的测试场景中，约3min左右结束
CMD for i in `seq 0 1 2000`;do if kubectl get addonconfiguration 2> /dev/null;then helm install cluster-addon-configuration charts/cluster-addon-configuration && break;fi; echo "wait CRD ready ... $i out of 2000 tries" && sleep 1; done
CMD kubectl apply -f manifests/clusterconfig.yaml
# 基础功能需要适配无数据盘的场景，因此没有使用本地存储池功能 opne-local。在后面的Clusterfile部署方式中，可以再次开启
CMD helm uninstall -n kube-system open-local

这里介绍一下 CNStack 社区版在基于 ACK Distro 构建集群镜像时使用的几个主要功能：

• plugin 插件
• 通过 helm 部署组件
• 对集群进行配置，例如 label node 等操作

集群部署开始前、部署结束后、清理后执行的 hook 可以通过 plugin 插件实现。以 plugin_localpv.yaml 为例，通过.spec.action: PreInit 声明上述动作是在集群部署开始前执行，动作内容描述在 data 中。data 描述中所创建的目录是为 CNStack 社区版不使用额外数据盘场景下使用的，供应用容器挂载 hostpath 的 volume 使用。注意这些目录仅会在用户没有使用 open-local 组件时使用，如果使用 open-local ，CNStack 社区版的组件将使用 open-local 提供的动态存储资源池中的本地存储（后续章节会介绍如何使用）。plugin_localpv.yaml 内容如下：

apiVersion: sealer.aliyun.com/v1alpha1
kind: Plugin
metadata:
  name: prepare_local_dir # Specify this plugin name,will dump in $rootfs/plugin dir.
spec:
  type: SHELL
  action: PreInit # PreInit PreInstall PostInstall
  data: |
    rm -rf /var/lib/cnstackce
    rm -rf /opt/aecp
    vgremove open-local-pool-0 --force || echo "No vg: open-local-pool-0 found. OK"
    mkdir -p /var/lib/cnstackce/data/storage-loki-0
    mkdir -p /var/lib/cnstackce/data/addon-package-standard-pv
    mkdir -p /var/lib/cnstackce/data/caas-api-pv
    mkdir -p /var/lib/cnstackce/data/caas-core-pv
    mkdir -p /var/lib/cnstackce/data/caas-db-caas-db-0
    mkdir -p /var/lib/cnstackce/data/grafana-pv
    mkdir -p /var/lib/cnstackce/data/prometheus-k8s-db-prometheus-k8s-0
    touch /var/lib/cnstackce/data/checker

容器服务 ACK 敏捷版的所有组件都是以 helm 形式部署的，在 Kubefile 中仅需要体现为（1）将 helm chart 拷贝到 charts 目录；（2）在部署时执行 helm install。由 ecp-installer 根据 manifests/clusterconfig.yaml 中声明的参数自动部署其它容器服务 ACK 敏捷版组件。

最后，在 Kubefile 中通过 CMD 声明在集群部署完成后对集群进行一些配置，例如节点打标（帮助容器服务 ACK 敏捷版选择 LB 节点和 ingress 入口）、去掉污点等操作。

CNStack 社区版的 build 工程目录如下，整个目录可在文末获取。

[root@cnstackcebuilder]~# tree charts -L 3
charts
├── build-cnstack-ce
│   ├── build.sh
│   ├── imageList
│   ├── kubeadm-cluster-config.yaml.tmpl
│   ├── Kubefile
│   ├── plugin_clean.yaml
│   ├── plugin_iptables.yaml
│   ├── plugin_localpv.yaml
│   └── readme.md
└── component
    ├── charts
    │   ├── aecp
    │   ├── aecp-installer-operator
    │   ├── cluster-addon-configuration
    │   └── localpv
    └── clusterconfig.yaml

在 charts/build-cnstack-ce 下直接运行 bash build.sh test001（test001是 tag 名称），sealer 工具将自动被下载和打包集群镜像，可以通过 sealer images 查询构建结果。

通过 Clusterfile 进行灵活的配置

前一个章节介绍生成的集群镜像，可以在单机版环境上直接一键部署：

# 获取sealer工具
wget -c "http://sealer.oss-cn-beijing.aliyuncs.com/sealers/sealer-v0.5.2-linux-amd64.tar.gz" && tar -xvf sealer-v0.5.2-linux-amd64.tar.gz -C /usr/bin
sealer run registry.cn-qingdao.aliyuncs.com/sealer-apps/cnstack-ce:1.1.0 -m `hostname -i` -p $passwd

上述集群镜像直接部署得到的集群，包括 CNStack 社区版的基础功能集。专有云产品的用户，根据自身需求不同，可能对产品使用体验有着不同的要求：

• 有的用户打算先行体验最基础的功能，查看功能列表、管理界面风格等。这些用户期望的是部署十分简单，最好一键就能完成，并且快速看到结果。
• 有的用户希望在提供必要资源的条件下，体验尽可能多的功能，例如进行 PoC
• 有的用户希望通过细致的配置和资源规划将容器平台服务与自己的生产环境适配。

回到我们刚刚制作的集群镜像，基础功能集仅需要用户准备一个 8C12G 的虚拟机，无需额外的数据盘，即可完成部署。（基础功能集不包括监控、日志、弹性等高级功能。）ACK Distro 强大的地方在于，可以通过 sealer 配置 Clusterfile，开启 ACK Distro 中 open-local 动态存储池管理的能力，并在修改集群镜像中默认的容器服务 ACK 敏捷版配置，部署出具备监控、日志、弹性等高级能力的全功能集版本。

当前 CNStack 社区版提供了 3 种部署规格，如下表格：

表格：CNStack 社区版当前的部署规模。

下面我们介绍如何通过修改 Clusterfile 开启全功能集。

首先为开启 open-local，需要在各个节点上配置 vg 资源。

apiVersion: sealer.aliyun.com/v1alpha1
kind: Plugin
metadata:
  name: prepare_vg # Specify this plugin name,will dump in $rootfs/plugin dir.
spec:
  type: SHELL
  action: PreInit # PreInit PreInstall PostInstall
  # init data disk for open-local-lvm
  # VG_DEV must be set as an available data disk name (lsblk -p), e.g. VG_DEV=/dev/vdb
  data: |
    VG_DEV=#DataDiskDeviceName#
    yum install lvm2 -y
    vgremove open-local-pool-0 --force || echo "no open-local-pool-0 found, volume group Cleaning OK..."
    echo "start vgcreate. device name: $VG_DEV"
    vgcreate open-local-pool-0 $VG_DEV
    if [ $? -ne 0 ];then echo "vgcreate failed" && exit 1;fi
    echo "vg preparation done with success."

在 CNStack 集群镜像中我们关闭了 open-local 并将 StorageClass 配置为 manual，所以需要在 Clusterfile 通过 PostInstall Plugin 重新部署 open-local，以及配置新的 StorageClass。

apiVersion: sealer.aliyun.com/v1alpha1
kind: Plugin
metadata:
  name: install-open-local # Specify this plugin name,will dump in $rootfs/plugin dir.
spec:
  type: SHELL
  action: PostInstall # PreInit PreInstall PostInstall
  'on': $MASTER_IP_1
  # install open-local
  data: |
    helm uninstall localpv
    helm install -n kube-system open-local charts/open-local

容器服务 ACK 敏捷版的组件部署开关和参数配置可以通过 Config 对象 overwrite 集群镜像中的对应配置，以将容器服务 ACK 敏捷版组件的 SC 修改为 open-local 为例：

apiVersion: sealer.aliyun.com/v1alpha1
kind: Config
metadata:
  name: cluster-addon-sc
spec:
  path: charts/cluster-addon-configuration/values.yaml
  data: |
      dataStorageClass: open-local-lvm

从上面的例子可以看出，部署规格的灵活性并不是简单的子功能增加和删减 —— 不负责任的组合会导致无穷的交付和运维风险。CNStack 社区版提供的规格是经过设计验证，并且在部署流程、资源规划方面都进行了优化的方案，您放心使用。

得益于 sealer、ACK Distro、以及上层组件的灵活性，CNStack 社区版还有更多可以定制的维度，比如更加灵活的产品功能组合，适配不同规模业务的产品配置等，会在未来陆续发布。

基于 ACK Distro 使用 CNStack 社区版的优势

可以帮助用户搭建云原生基础设施

容器平台是用户应用与 IaaS 交互的新界面，对上负责应用的发布和维护，对下负责基础设施的资源管理，将用户数据中心中的异构基础设施抽象为更有利于云原生最佳实践落地的基础设施。业内种种最佳实践：观测、容灾、成本优化、微服务管理、AI 等很多先进的 IT 解决方案，都离不开一个“符合预期”、可靠的云原生基础设施。

图：CNStack 产品能力

图中的容器服务 ACK 敏捷版的能力之一，就是帮助用户搭建可靠的云原生基础设施。经过几年时间无数客户的专有云的服务经历，容器服务 ACK 敏捷版在搭建云原生基础设施方面，总结出了一系列关键经验，在 CNStack 社区版中在以下两个方面进行了着重落实：

1. 良好的交付体验
2. 适配用户 IaaS

良好的交付体验

售卖时天花乱坠，交付时一周起步，是专有云里面困扰用户的头等问题之一。繁琐的操作流程，复杂到只有资深工程师才可能搞清楚的功能依赖，文本很长却没有任何信息量的错误提示，以及没有明确的验收标准，是我们在专有云交付场景中遇到的主要问题。CNStack 社区版中，我们以 sealer 作为打包和交付工具 ，借助 ACK Distro 适配多种 IaaS 的能力，明确各阶段部署任务的边界，做到了最小功能集版本一键部署，高阶特性通过 Clusterfile 一个文件描述&快一键部署。

适配用户 IaaS

考虑到用户在 IT 设备上的投入周期和决策的复杂性，让 CNStack 社区版能够运行在主流环境上部署和流畅运行是我们追求的目标。适配用户 IaaS 包含两方面含义：

1. 能够在用户存量 IaaS 上部署容器平台，让异构 IaaS 能够被抽象为统一的资源对象
2. 维持用户合理的用云习惯，降低业务改动成本

如果将 ACK Distro 以及其中的存储、网路组件比作我们提供的工具，在不同的能工巧匠手中可以独立发挥作用，那么 CNStack 社区版中的容器服务 ACK 敏捷版就是一个精心打造的工具箱，为用户提供开箱即用的、能够适配用户 IaaS 的容器平台服务。我们从经典的计算、存储、网络三个维度，来描述容器服务 ACK 敏捷版在适配 IaaS 方面的工作以为帮助用户维持用云习惯的努力：

• 计算

• 容器服务 ACK 敏捷版使用与公有云 ACK 相同的 Kubernetes 组件镜像，因此在社区合规、安全、版本兼容方面，能够做到最佳适配

• 存储（open-local）

• 部分用户没有可靠的商业存储解决方案，我们可以将用户用于部署 Kubernetes 的节点存储以资源池的形式管理起来
• 为 etcd、docker、kubelet 预留部分资源的前提下，进行交付，并保证运行时的稳定性

• 网络（hybridnet）

• 通过提供 overlay/underlay 容器网络平滑共存/转化的能力，以 overlay 容器网络屏蔽底层基础设施，以 underlay 容器网络对接底层基础设施，一定程度上可以做到，在屏蔽底层网络基础设施的同时，提供高性能的、可对外直通的网络能力
• 提供网络控制的统一模型和平面，统一管理 overlay/underlay 网络，提供了丰富的地址策略分配、网络资源管理能力

与公有云基础设施有完善、稳定的 API 不同，用户 IaaS 因为 IaaS 供应商、版本、合规要求、运维习惯等，有着不同基础设施调用 API 和不同的配置要求。容器服务 ACK 敏捷版截止到目标适配了阿里云、华为云、电信云、易捷行云 EasyStack、VMWare、ZStack 等（注：社区版中目前仅在 ECS/物理机的 CentOS 上经历了充分测试，更多适配将在后续版本引入）

可以帮助用户同时管理基础设施和应用

CNStack 社区版帮助用户管理基础设施以及发布和运维运行在基础设施上的应用。容器服务 ACK 敏捷版提供了应用运维、集群运维、平台管理三个方面的能力赋能用户。受限于篇幅，我们将简单介绍功能列表，未来会有专门的文章为您详细介绍这些功能。

• 应用运维：

• 应用发布。支持通过多种方式将您的应用发布到集群中
• 制品仓库。支持对接您自有的制品仓库，也支持对接阿里云 ACR

• 平台运维：

• 帮助管理员定义多个组织和租户，使平台资源可以被更多用户使用的同时，提供足够的隔离性以保障安全

• 集群运维：

• 帮助您详细的了解集群和应用的运行现状，包括资源列表、监控大盘、各种服务日志等

下一篇文章我们会详细介绍这些功能，敬请期待。

CNStack 社区版未来的发展

通过云原生技术方案服务企业的数字化转型是 CNStack 的使命，目前 CNStack 社区版通过 sealer、ACK Distro 和容器服务 ACK 敏捷版，能够帮助用户搭建以云原生底座为核心的基础设施，并进行平台和应用的管理。但用户想享受更多云原生带来的便利，还需要更多的中间产品例如 EDAS（应用管理）、消息队列、监控，以及更多的解决方案，如边缘、AI、大数据等。随着 CNStack 社区版的不断更新，我们将陆续为用户带来更多的能力，方便用户接触到我们的产品和服务。

期待您加入我们的社区进行讨论，欢迎提出更多意见和期望。

相关链接

[1]ACK Distro 官网

https://www.aliyun.com/product/aliware/ackdistro

[2]ACK Distro 官方 GitHub

https://github.com/AliyunContainerService/ackdistro

[3]让创新触手可及，阿里云容器服务 ACK 发行版开放免费下载

https://mp.weixin.qq.com/s/Lc2afj91sykHMDLUKA_0bw

[4]集群部署工具 sealer

https://github.com/alibaba/sealer

[5]网络插件 hybridnet

https://github.com/alibaba/hybridnet

[6]本地存储插件 open-local

https://github.com/alibaba/open-local

[7]阿里云 CNStack

https://cn.aliyun.com/activity/middleware/cnstack

[8]CNStack 社区版官方 Github

https://github.com/alibaba/CNStackCommunityEdition

[9]阿里云容器服务 ACK 敏捷版产品介绍

https://help.aliyun.com/document_detail/397597.html