Kubernetes Crossplane VCluster 构建新集群
Crossplane 是一个开源的 Kubernetes 插件，通过扩展 Kubernetes API 来解决云资源的供应问题。使用 Crossplane 时，你可以用声明的方式定义需要创建哪些云资源才能让你的应用程序正常工作，不需要编写任何代码。可以直接通过创建相关的 CRD 对象来完成这些云资源的定义，可以看成是一个云原生版本的 Terraform。
VCluster 是一个通过轻量级虚拟 Kubernetes 集群提供灵活性并节省成本的工具，使用 VCluster，你可以在 Kubernetes 集群内创建一个隔离的虚拟 Kubernetes 集群。这大大降低了创建和维护 Kubernetes 集群控制平面的复杂性。
下表比较了使用命名空间、vcluster 和 Kubernetes 集群的隔离级别和管理复杂性：
那么我们将 Crossplane 和 VCluster 这两个工具一起来结合时候会产生怎样的效果呢？接下来我们将通过一个示例来说明这二者的结合使用。
示例
在这个示例中我们想要实现如下所示的一些功能：
- 拥有一个集群可以接收请求来启动一个新的集群环境
- 这些环境将可以使用 Helm 来安装应用程序
- 请求新环境的团队并不关心集群在哪里创建的，所以使用 VCluster 或在云提供商中创建一个 Kubernetes 集群应该为终端用户提供类似的体验。
这里我在本地环境使用 KinD 来进行演示，相关的资源清单可以在 https://github.com/salaboy/from-monolith-to-k8s/tree/main/platform/crossplane-vcluster 此处找到（需要自己提前安装 kubectl、helm、kind）。
如上图所示，我们只需要创建一个 KinD 集群（当然也可以是其他任何的 Kuberentes 集群），然后在集群上安装 Crossplane 和 Crossplane Helm Provider，因为我们这里没有创建任何云资源，所以我们不需要配置任何其他的 Crossplane Provider（比如 GCP、AWS、Azure 等）。
安装 Crossplane
接下来我们可以先使用 KinD 创建一个 Kubernetes 集群。
$ kind create clusterCreating cluster "kind" ... ✓ Ensuring node image (kindest/node:v1.23.4) 🖼 ✓ Preparing nodes 📦 ✓ Writing configuration 📜 ✓ Starting control-plane 🕹️ ✓ Installing CNI 🔌 ✓ Installing StorageClass 💾Set kubectl context to "kind-kind"You can now use your cluster with: kubectl cluster-info --context kind-kind Have a question, bug, or feature request? Let us know! https://kind.sigs.k8s.io/#community 🙂$ kubectl get nodesNAME STATUS ROLES AGE VERSIONkind-control-plane Ready control-plane,master 56s v1.23.4
集群准备好后接下来我们可以将 Crossplane 和 Crossplane Helm Provider 安装到我们的 KinD 集群中去，如下所示：
$ kubectl create ns crossplane-systemnamespace/crossplane-system created$ helm install crossplane --namespace crossplane-system crossplane-stable/crossplane NAME: crossplaneLAST DEPLOYED: Tue Aug 9 15:20:22 2022NAMESPACE: crossplane-systemSTATUS: deployedREVISION: 1TEST SUITE: NoneNOTES:Release: crossplane Chart Name: crossplaneChart Description: Crossplane is an open source Kubernetes add-on that enables platform teams to assemble infrastructure from multiple vendors, and expose higher level self-service APIs for application teams to consume.Chart Version: 1.9.0Chart Application Version: 1.9.0 Kube Version: v1.23.4
安装完成后会在 crossplane-system 命名空间下面运行如下所示的两个 Pod：
$ kubectl get pods -n crossplane-systemNAME READY STATUS RESTARTS AGEcrossplane-c9b9fc9f9-4hn47 1/1 Running 0 11mcrossplane-rbac-manager-56c8ff5b65-8lgrp 1/1 Running 0 11m
接着需要安装 Crossplane Helm Provider，直接使用 crossplane 的 kubectl 插件即可安装：
$ kubectl crossplane install provider crossplane/provider-helm:v0.10.0provider.pkg.crossplane.io/crossplane-provider-helm created
另外需要注意在安装 Crossplane Helm Provider 的时候，我们需要为该 Provider 提供一个合适的 ServiceAccount 来创建新的 ClusterRoleBinding，以便该 Provider 可以安装 Helm Charts。
$ SA=$(kubectl -n crossplane-system get sa -o name | grep provider-helm | sed -e 's|serviceaccount\/|crossplane-system:|g')$ echo $SAcrossplane-system:crossplane-provider-helm-3d2f09bcd965$ kubectl create clusterrolebinding provider-helm-admin-binding --clusterrole cluster-admin --serviceaccount="${SA}"clusterrolebinding.rbac.authorization.k8s.io/provider-helm-admin-binding created
然后创建一个如下所示的 ProviderConfig 对象，用来声明安装 Helm Provider：
# helm-provider-config.yamlapiVersion: helm.crossplane.io/v1beta1kind: ProviderConfigmetadata: name: defaultspec: credentials: source: InjectedIdentity ---# SA=$(kubectl -n crossplane-system get sa -o name | grep provider-helm | sed -e 's|serviceaccount\/|crossplane-system:|g')# kubectl create clusterrolebinding provider-helm-admin-binding --clusterrole cluster-admin --serviceaccount="${SA}"
直接应用上面的资源清单即可：
$ kubectl apply -f helm-provider-config.yamlproviderconfig.helm.crossplane.io/default created
到这里我们就将 Crossplane 安装完成了。最后我们还推荐安装 vcluster 命令行工具来连接 Kubernetes 集群，可以参考文档 https://www.vcluster.com/docs/getting-started/setup 进行安装。
使用 Crossplane Composition 创建 VClusters
Crossplane 和 Crossplane Helm Provider 现在已经准备好了，接下来让我们来看看 Crossplane Composition。Crossplane 提供了组合托管资源的机制，用户可以在其中以声明的方式创建自己的抽象。
- 组合资源（Composite Resource）：组合资源（XR）是一种自定义资源，它由托管资源组成，允许你抽象基础设施细节。
CompositeResourceDefinition（XRD）定义了一种新型的组合资源，XRD 是集群范围的，为了创建一个命名空间的 XR，相应的 XRD 可以提供一个组合资源声明（XRC）。 - 组合（Composition）：一个组合指定 XR 将由哪些资源组成，也就是当你创建 XR 时会发生什么，一个 XR 可以有多个组合。例如，对于 CompositeDatabase XR，你可以使用一个组合来创建 AWS RDS 实例、一个安全组和一个 MySQL 数据库。另一种组合可以定义 GCP CloudSQL 实例和 PostgreSQL 数据库。
- 配置（Configuration）：配置是一个 XRD 和组合的包，然后可以使用 Crossplane CLI 将其发布到 OCI 镜像注册中心，并通过创建声明性配置资源将其安装到一个 Crossplane 集群中。
我们这里的 Crossplane Composition(XR) 定义了创建新环境资源时需要执行的相关操作，该对象会执行以下的一些操作：
- 使用我们安装 Helm Provider 时配置的 Helm Provider Config 来安装 VCluster Helm Chart，当我们安装这个 Chart 时，就可以创建一个新的 VCluster，是不是非常简单。
- VCluster 安装会创建一个 Kubernetes Secret 对象，其中包含连接到 VCluster APIServer 的 tokens，我们可以使用该 Secret 来配置第二个 Helm Provider Config，它允许我们将 Helm Charts 安装到新创建的集群中。
- 我们可以使用第二个 Helm Provider Config 来将应用程序安装到创建的 VCluster 中。
接下来我们来看下这是如何实现的，首先我们需要将 Crossplane Composition 和 Environment CRD 应用到我们的集群中来，这样我们就可以创建新的 Environment 资源了。
首先定义一个 Environment 的组合资源，对应的资源清单如下所示，该对象相当于 Kubernetes 集群中的 CRD：
# environment-resource-definition.yamlapiVersion: apiextensions.crossplane.io/v1kind: CompositeResourceDefinitionmetadata: name: environments.fmtok8s.salaboy.comspec: group: fmtok8s.salaboy.com names: kind: Environment plural: environments claimNames: kind: Cluster plural: clusters versions: - name: v1alpha1 served: true referenceable: true schema: openAPIV3Schema: type: object properties: spec: type: object properties: {}
有了 XRD 组合资源声明过后，接下来定义一个组合对象，资源清单文件内容如下所示，在该 Composition 组合对象中定义了多个资源，其中关联了上面的 XRD 对象声明的 Environment 对象：
# composition.yamlapiVersion: apiextensions.crossplane.io/v1kind: Compositionmetadata: name: environment.fmtok8s.salaboy.comspec: writeConnectionSecretsToNamespace: crossplane-system compositeTypeRef: apiVersion: fmtok8s.salaboy.com/v1alpha1 kind: Environment resources: - name: vcluster-helm-release base: apiVersion: helm.crossplane.io/v1beta1 kind: Release metadata: annotations: crossplane.io/external-name: # patched spec: rollbackLimit: 3 forProvider: namespace: # patched chart: name: vcluster repository: https://charts.loft.sh version: "0.10.2" values: syncer: extraArgs: [] # patched # - --out-kube-config-server=https://cluster-1.cluster-1.svc providerConfigRef: name: default patches: - fromFieldPath: metadata.name toFieldPath: spec.forProvider.namespace policy: fromFieldPath: Required - fromFieldPath: metadata.name toFieldPath: metadata.annotations[crossplane.io/external-name] policy: fromFieldPath: Required - fromFieldPath: metadata.name toFieldPath: metadata.name transforms: - type: string string: fmt: "%s-vcluster" - type: CombineFromComposite combine: variables: - fromFieldPath: metadata.name strategy: string string: fmt: "--out-kube-config-secret=%s-secret" toFieldPath: spec.forProvider.values.syncer.extraArgs[0] - type: CombineFromComposite combine: variables: - fromFieldPath: metadata.name - fromFieldPath: metadata.name strategy: string string: fmt: "--out-kube-config-server=https://%s.%s.svc" toFieldPath: spec.forProvider.values.syncer.extraArgs[1] - type: CombineFromComposite combine: variables: - fromFieldPath: metadata.name - fromFieldPath: metadata.name strategy: string string: fmt: "--tls-san=%s.%s.svc" toFieldPath: spec.forProvider.values.syncer.extraArgs[2] - name: helm-providerconfig base: apiVersion: helm.crossplane.io/v1alpha1 kind: ProviderConfig spec: credentials: source: Secret secretRef: name: # patched namespace: # patched key: config patches: - fromFieldPath: metadata.name toFieldPath: spec.credentials.secretRef.name transforms: - type: string string: fmt: vc-%s - fromFieldPath: metadata.name toFieldPath: spec.credentials.secretRef.namespace - fromFieldPath: metadata.uid toFieldPath: metadata.name - name: helm-provider-vcluster base: apiVersion: helm.crossplane.io/v1beta1 kind: ProviderConfig spec: credentials: source: Secret secretRef: namespace: #patched key: config patches: - fromFieldPath: metadata.name toFieldPath: metadata.name - fromFieldPath: metadata.name toFieldPath: spec.credentials.secretRef.namespace policy: fromFieldPath: Required # This ProviderConfig uses the above VCluster's connection secret as # its credentials secret. - fromFieldPath: "metadata.name" toFieldPath: spec.credentials.secretRef.name transforms: - type: string string: fmt: "%s-secret" readinessChecks: - type: None - name: conference-chart-vcluster base: apiVersion: helm.crossplane.io/v1beta1 kind: Release metadata: annotations: crossplane.io/external-name: conference spec: forProvider: chart: name: fmtok8s-conference-chart repository: https://salaboy.github.io/helm/ version: "v0.1.1" namespace: conference providerConfigRef: name: #patched patches: - fromFieldPath: metadata.name toFieldPath: spec.providerConfigRef.name
我们为 VCluster 的 Chart 包设置了 3 个参数，以便与 Crossplane 一起使用：
- 在第 53 行配置了
fmt: "--out-kube-config-secret=%s-secret"，因为我们需要 VCluster 创建一个 Secret 对象，将kubeconfig托管在里面，这样我们就可以获取它，与新创建的 APIServer 进行连接了。 - 在第 62 行配置了
fmt: "--out-kube-config-server=https://%s.%s.svc"，因为我们需要kubeconfig从集群内指向新的 APIServer URL，默认情况下，生成的kubeconfig指向https://localhost:8443。 - 在第 71 行配置了
fmt: "--tls-san=%s.%s.svc"，表示需要将新的服务地址添加到到 APIServer 接受连接的主机列表中。
接着直接应用上面的两个对象即可：
$ kubectl apply -f composition.yamlcomposition.apiextensions.crossplane.io/environment.fmtok8s.salaboy.com created$ kubectl apply -f environment-resource-definition.yamlcompositeresourcedefinition.apiextensions.crossplane.io/environments.fmtok8s.salaboy.com created
一旦集群内的组合和 CRD 可用后，我们就可以开始创建新的环境资源，在运行之前要检查哪些 VClusters 目前是可用的。
$ vcluster list NAME NAMESPACE STATUS CONNECTED CREATED AGE No entries found
现在应该还没有任何 VClusters，现在我们可以创建一个新的环境，比如现在我们定义一个 dev 的环境，只需要声明一个如下所示的 Environment 对象即可：
# environment-resource.yamlapiVersion: fmtok8s.salaboy.com/v1alpha1kind: Environmentmetadata: name: dev-environmentspec: {}
直接应用该对象：
$ kubectl apply -f environment-resource.yamlenvironment.fmtok8s.salaboy.com/dev-environment created$ kubectl get environmentsNAME READY COMPOSITION AGEdev-environment False environment.fmtok8s.salaboy.com 57s$ kubectl describe environments dev-environmentName: dev-environmentNamespace:Labels: crossplane.io/composite=dev-environmentAnnotations: <none>API Version: fmtok8s.salaboy.com/v1alpha1Kind: Environment......Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal PublishConnectionSecret 76s defined/compositeresourcedefinition.apiextensions.crossplane.io Successfully published connection details Normal SelectComposition 19s (x7 over 76s) defined/compositeresourcedefinition.apiextensions.crossplane.io Successfully selected composition Normal ComposeResources 18s (x7 over 76s) defined/compositeresourcedefinition.apiextensions.crossplane.io Successfully composed resources
现在我们可以像对待其他 Kubernetes 资源一样对待你创建的环境资源了，你可以直接使用 kubectl get environments 列出它们，甚至可以描述它们以查看更多细节。
现在我们再去检查 VCluster 正常就会发现一个新的资源了：
$ vcluster list NAME NAMESPACE STATUS CONNECTED CREATED AGE dev-environment dev-environment Running 2022-08-09 17:44:07 +0800 CST 56m38s
VCluster 将在一个新的命名空间 dev-environment 中安装一个 APIServer（默认使用 K3s）、CoreDNS 实例和一个 Syncer，让用户能够通过 kubectl 与 VCluster API Server 进行交互，就像与常规集群一样，VCluster 将与负责调度工作负载的主机集群同步这些资源，这样来实现了一个命名空间就是一个 Kubernetes 集群的功能。
一旦我们配置了 Crossplane 和 Crossplane Helm Provider，我们就可以通过创建一个新的 Helm Release 安装一个 Helm Chart 来创建一个新的 VCluster，非常简单。
一旦我们使用在 secret 中创建的正确 kubeconfig 创建了 VCluster，我们就可以配置第二个 Helm Provider 以将我们的应用程序安装到新创建的 VCluster 中，上面 composition 对象中第 95 行定义的 helm-provider-vcluster 就是该描述。
然后在 composition 内部，我们配置使用了一个我们的会议应用的 Helm Chart 包。
配置完所有内容并创建新环境后，我们可以连接到 VCluster 并检查应用程序是否已安装：
$ vcluster connect dev-environment --server https://localhost:8443 -- bash The default interactive shell is now zsh.To update your account to use zsh, please run `chsh -s /bin/zsh`.For more details, please visit https://support.apple.com/kb/HT208050.bash-3.2$ kubectl get nsNAME STATUS AGEdefault Active 32mkube-system Active 32mkube-public Active 32mkube-node-lease Active 32mconference Active 23mbash-3.2$ kubectl get pods -n conferenceNAME READY STATUS RESTARTS AGEconference-fmtok8s-frontend-7cd5db8669-pv944 1/1 Running 0 23mconference-fmtok8s-email-service-768bc88cbb-sklrg 1/1 Running 0 23mconference-postgresql-0 1/1 Running 0 23mconference-fmtok8s-c4p-service-7f56d7bd9d-2vjtx 1/1 Running 2 (19m ago) 23mconference-redis-master-0 1/1 Running 0 23mconference-redis-replicas-0 1/1 Running 0 23mconference-fmtok8s-agenda-service-7db66c9568-xsh5m 1/1 Running 2 (16m ago) 23m
可以看到我们的应用在该集群中已经安装成功了，而这些应用实际上就是部署在 KinD 这个原始集群的 dev-environment 命名空间下面的：
$ kubectl get pods -n dev-environmentNAME READY STATUS RESTARTS AGEconference-fmtok8s-agenda-service-7db66c9568-xsh5m-x-08f9332627 1/1 Running 2 (18m ago) 25mconference-fmtok8s-c4p-service-7f56d7bd9d-2vjtx-x-co-fc2c58eaec 1/1 Running 2 (21m ago) 25mconference-fmtok8s-email-service-768bc88cbb-sklrg-x--c5d9594434 1/1 Running 0 25mconference-fmtok8s-frontend-7cd5db8669-pv944-x-confe-2832ac1bef 1/1 Running 0 25mconference-postgresql-0-x-conference-x-dev-environment 1/1 Running 0 25mconference-redis-master-0-x-conference-x-dev-environment 1/1 Running 0 25mconference-redis-replicas-0-x-conference-x-dev-environment 1/1 Running 0 25mcoredns-76dd5485df-6cbl7-x-kube-system-x-dev-environment 1/1 Running 0 34mdev-environment-0 2/2 Running 0 63m
只是 VCluster 将一个命名空间进行了隔离，使用起来和 Kubernetes 集群体验基本一致。
总结
这只是一个简单的示例，介绍了如何使用 Crossplane 与 VCluster 来结合使用快速配置一套 Kubernetes 集群环境并在其中安装应用，以使开发人员提高工作效率。当然还有很多可以优化的地方，比如：
- 在 VCluster 中安装 ArgoCD 并使用作为环境参数提供的 GitHub URL 来实现 GitOps，这将避免对 VCluster 使用 kubectl。使用 composition 可以来创建 ArgoCD 资源以配置存储库和集群，而无需用户干预。
- 在 VCluster 中安装 Knative，以便开发人员可以依靠 Knative Functions、Knative Serving 和 Eventing 功能来设计他们的应用程序。
- 通过环境参数来决定 VCluster 使用哪个云资源，比如 GCP、AKS 和 EKS 实现等。
- 同样 Crossplane 也是在本地 KinD 集群中进行测试使用的，我们也可以对接真实云资源，比如 GCP、AWS、Azure 等等。
