1.1.2 Kubernetes:云原生基础设施
2014 年,Google 公司开源了 Kubernetes 项目。此时,在容器编排领域主要有两个竞争对手,即 Docker 公司的 Docker Swarm 和 Apache 基金会的 Mesos。虽然 Kubernetes诞生得较晚,但实际上其设计思想来源于 Google 公司内部的 Borg 和 Omega 系统特性,这些特性放到 Kubernetes 项目上,就是 Pod、Sidecar 等功能和设计模式。这些特性并不是几个工程师突发奇想的结果,而是 Google 公司在容器化基础设施领域多年来实践经验的沉淀与升华。为了推广 Kubernetes 项目,同时与 Docker 公司竞争,Google 和 Red Hat 联合发起 CNCF 基金会。有了这两家公司的背书,CNCF 和 Kubernetes 迅速发展,该基金会下的项目和围绕 Kubernetes 的二次创新项目大量涌现,包括容器监控的实施标准 Prometheus、微服务治理项目 Istio、有状态应用部署框架 Operator 等。2017 年,Docker 公司宣布将在自己的主打产品 Docker 企业版中内置 Kubernetes,这标志着容器编排之争落下了帷幕,Kubernetes 成为容器编排的事实标准。
从技术角度来讨论 Kubernetes 为何能获胜也是个有意思的话题。
Kubernetes 从应用的角度定义了多种资源,用来描述不同的应用类型以及相关能力(见代码清单 1-1)
代码清单 1-1
$ kubectl run nginx --image=nginx --replicas=3 deployment.apps/nginx created $ kubectl get deployment nginx -w NAME READY UP-TO-DATE AVAILABLE AGE nginx 0/3 3 0 0s nginx 1/3 3 1 3s nginx 2/3 3 2 3s
(1) Pod:最小的调度单元,一个 Pod 包含一组容器,容器之间通常存在密切关系,例如,使用 localhost(本地主机)进行本地通信会直接发生文件交换、需要共享 Linux Namespace。
(2) Deployment:通常用来部署多副本的 Pod,可以看到 Pod 的状态,在 Pod 异常时能够及时处理故障,使其恢复正常。
(3) Statefulset:描述有状态应用,可以控制 Pod 的启动顺序,为 Pod 绑定不同的存储等。
(4) Job、CronJob:这两种类型资源分别对应一次性任务和周期性任务。
(5) Daemonset:通常用来部署后台常驻任务,如在每个节点上的日志程序。
除了以上描述应用的资源,还有其他资源。
(1) Service:描述了一个应用的访问入口,通过 Label(标签)实现 Service 与后端服务(Pod)的关联,也就实现了服务发现功能。
(2) Ingress:支持 Kubernetes 集群以外的客户端访问应用。
(3) Configmap、Secret:描述应用所需的配置参数或加密的密钥等。
(4) PV、PVC、HostPath、EmptyDir:描述应用所需的各类存储,支持持久化存储、临时储。
有了这些资源对象,使用者可以很方便地描述应用程序。通常使用 Yaml 文件表示,一个 kubectl apply -f myapp.yaml 命令就可以等待 Kubernetes 完成应用部署,达到期望状态,其背后重要的设计理念就是声明式 API 和控制器模式。简单理解,用户通过Yaml 文件描述了期望的最终状态,比如“我需要用 Nginx 镜像启动 3 个 Pod,然后通过名为 Myapp 的 Service 暴露这个应用”。Kubernetes 接收到这个请求时,会将其保存到 ETCD 数据库中,由控制器创建 3 个 Pod 和 1 个 Service。由于创建资源需要一定时间,控制器会不断检查这些资源的状态,并且和期望的状态比较,如果不一致,持续处理(例如调度到其他节点),直到最终达成一致,这个过程如图 1-4 所示。
图 1-4 Kubernetes 声明式 API、控制器模式
此外,Kubernetes 具备可扩展性。其实优秀的开源项目都支持扩展,例如 Open Stack 在网络层面定义了 Neutron 网络插件(Network Plugin),用于支持开源的 Open vSwitch(OVS)、商业化的 SDN 产品;在存储层面,通过 Cinder Volume Driver,支持逻辑卷管理(LVM,Logical Volume Manager)以及各种商业化的存储;在调度器层面,支持自定义 Scheduler。类似地,Kubernetes 通过 CRI(容器运行时接口)、CSI(容器存储接口)、CNI(容器网络接口),也支持计算、存储、网络的扩展性。更重要的是,Kubernetes在 API 资源层面也支持扩展,使用者可以通过自定义资源定义(CRD,Custom Resource Definition)自定义资源,而且这些资源和 Pod、Deployment 等原生资源有同样的使用方式,同时对已有代码没有侵入性。这就大大激发了开发者的潜能。再加上 Sidecar、Operator等机制,一系列优秀的开源项目如雨后春笋般涌现,大大加速了 Kubernetes 的发展。可以说,“占领开发者心智”是 Kubernetes 的重磅武器。
从 Kubernetes 诞生至今,它已经成为云原生基础设施的代名词。越来越多的开源项目 都 支 持 Kubernetes 部 署, 如 数 据 库 领 域 的 MySQL、MongoDB、Redis、TiDB, 大数据领域的 Spark、Splunk,监控领域的 Prometheus、Dynatrace OneAgent、Sysdig Agent Operator,安全领域的 Falco,微服务领域的 Istio、Linkerd 等。Kubernetes 在新兴领域也有很多项目,如人工智能领域的 Kubeflow,边缘计算领域的 KubeEdge、k3s等。在云服务商的产品目录中,Kubernetes 早已成为标配。Amazon Elastic Kubernetes Service、Azure Kubernetes Service、Google Kubernetes Engine、Alibaba Cloud Container Service for Kubernetes、Tencent Kubernetes Engine、China Mobile eCloud Kubernetes Container Service,从名字就可以看出,国内外云服务商的容器产品都围绕Kubernetes 设计开发。