超适合小项目的 K8S 部署策略

本文涉及的产品
云解析 DNS,旗舰版 1个月
传统型负载均衡 CLB,每月750个小时 15LCU
全局流量管理 GTM,标准版 1个月
简介: Kubernetes 的稳健性、可靠性使它成为现阶段最流行的云原生技术之一,但也有不少用户反映, Kubernetes 技术学习起来十分复杂,只适用于大集群且成本较高。这篇文章将打破你的观念,教你在小型项目中部署 Kubernetes 集群。

Kubernetes 的稳健性、可靠性使它成为现阶段最流行的云 原生技术之一,但也有不少用户反映, Kubernetes 技术学习起来十分复杂,只适用于大集群且成本较高。这篇文章将打破你的观念,教你在小型项目中部署 Kubernetes 集群。


选择 K8S 部署小型集群的三大理由


理由一:花费时间少

在部署小型集群之前,你需要思考以下这些问题:


  • 应该如何部署应用程序?(仅仅 rsync 到服务器?)

  • 依赖关系是怎么样的?(如果利用 python 或 ruby,你必须在服务器上安装它们!)

  • 手动运行命令?(如果以 nohup 的方式在后台运行二进制文件这可能不是最好的选择,但去配置路由服务,是否还需要学习 systemd?)

  • 如何通过不同域名或 HTTP 路径运行多个应用程序?(你可能需要设置 haproxy 或 Nginx!)

  • 当更新应用程序后应该如何推出新变化?(停止服务、部署代码、重启服务?如何避免停机?)

  • 如果搞砸了部署怎么办?有什么方法可以回滚?

  • 应用程序是否需要使用其他服务?又该如何配置这些服务?(如:redis)


以上这些问题很有可能在你部署小型集群时出现,但 Kubernetes 为上述所有问题都提供了解决方案。或许还有其他方法可以解决上述问题,但是利用 Kubernetes 往往事半功倍,因为我们需要更多的时间专注于应用程序。


理由二:Kubernetes 记录整个部署过程

让我们看看利用 Kubernetes 部署集群的第二个理由。


你在工作时是否也是这样的状态:我上次运行了什么命令?当时服务器在运行什么服务?这让我想到了著名的 bash.org:


<erno> hm. I've lost a machine.. literally _lost_. it responds to ping, it works completely, I just can't figure out where in my apartment it is.

http://bash.org/?5273


这种情况曾经出现在我的工作中,让原本 10 分钟的工作量变成了一个周末。


但是如果你选择 Kubernetes 部署集群,就不会有这种困扰。因为 Kubernetes 使用描述性格式,如此用户就可以很轻松地知道接下来应该运行哪些内容,如何部署构建块。此外,控制层也会正常处理节点故障并自动重新调度 Pod。(对于像 Web 应用程序这样的无状态服务,就不再需要担心失败。)


理由三:Kubernetes 简单易学

Kubernetes 拥有自己的词汇表、工具,以及与传统 Unix 完全不同的配置服务器。Kubernetes 的知识足以建立和维护基础设施。使用 Kubernetes,你可以完全可以在 Kubernetes 中配置服务,无需 SSH 到服务器。你不必学习 systemd 也不必知道什么是运行级别; 你不必格式化磁盘,或学习如何使用 ps,vim。


我通过一个例子,来证明我的观点!


这是利用 Unix :

[Unit]
Description=The NGINX HTTP and reverse proxy server
After=syslog.target network.target remote-fs.target nss-lookup.target[Service]
Type=forking
PIDFile=/run/nginx.pid
ExecStartPre=/usr/sbin/nginx -t
ExecStart=/usr/sbin/nginx
ExecReload=/usr/sbin/nginx -s reload
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target

真的比利用 Kubernetes 难:

apiVersion: apps/v1
kind: Deployment
metadata:
 name: my-nginx
spec:
 selector:
 matchLabels:
 run: my-nginx
 replicas: 1
 template:
 metadata:
 labels:
 run: my-nginx
 spec:
 containers:
 - name: my-nginx
 image: nginx
 ports:
 - containerPort: 80

当你远程执行基础架构管理时,是不需要手动维护服务器的。你可以使用:ansible、salt、chef、puppet 等来完成这件事。当然,你需要学习使用很多 Kubernetes 相关工具,这要比学习替代品轻松的多。


小 结

Kubernetes 并不是将一件事做到极致的工具而是一个全方位的解决方案,它取代了开发人员习惯使用的许多技术和工具。


接下来我们用实际操作,为大家部署一个小型 Kubernetes 集群。


建立小型 Kubernetes 集群


下面就开始我们的教程。对于这个例子,我们将使用谷歌的 Kubernetes引擎(GKE),但如果谷歌不是你的菜,你也可以选择亚马逊(EKS)或微软(AKS)。


要构建我们的 Kubernetes 集群,我们将需要:


  • 域名(10 美元 /年,具体取决于域名);

  • DNS 主机由 cloudflare 提供(免费);

  • GKE 中的 3 个 node kubernetes 集群(5 美元 / 月);

  • 将 Webapp 作为 Docker 容器发送到 Google Container Registry(GCR)(免费);

  • 一些 yaml 文件配置 Kubernetes。


此外,为了节省成本,我们不会使用谷歌的 ingress controller 。相反,我们将在每个节点上运行 Nginx 作为 Daemon,并构建一个自定义运算符,将工作节点外部 IP 地址与 Cloudflare 同步。


谷歌设置

首先访问 console.cloud.google.com 并创建一个项目(如果你还没有项目)。你还需要设置结算帐户。然后前往 hamburger 菜单中的 Kubernetes 页面并创建一个新的集群。


你需要执行以下操作:

  • 选择 Zonal 区域类型(我使用了 us-central1-a 作为我的区域);

  • 选择你的 Kubernetes 版本;

  • 使用最便宜的实例类型(f1-micro)创建 3 个 node 池;

  • 对于该节点池,在高级屏幕中,将引导磁盘大小设置为 10GB,启用可抢占的 node(它们更便宜),启用自动升级和自动修复;

  • 在节点池下面还有一些其他选项。我们想要禁用 HTTP 负载均衡(GCP 中的负载均衡很昂贵且不稳定)并且还禁用所有 StackDriver 的服务以及禁用 Kubernetes dashboard 。


通过设置所有这些选项,你可以继续创建集群。

以下是减少的成本:

  • Kubernetes 控制层:免费,因为谷歌不收取专家的费用;

  • Kubernetes 工作节点:5.04 美元/月,3 个微节点通常为 11.65 美元/月,通过使用它们的可抢占性,我们将其降至 7.67 美元/月(“永久免费”等级则达到 5.04 美元);

  • 存储成本:免费,存储成本可以在 GCP 中累计。我们将免费获得 30GB 的永久磁盘,这就是我们选择 10GB 大小的原因;

  • 负载均衡器成本:免费,我们禁用 HTTP 负载均衡,因为仅此一项费用将达到 18 美元/月。相反,我们将在每个节点上运行我们自己的 HTTP 代理,并将 DNS 指向公共 IP;

  • 网络费用:免费,只要你每月低于 1GB,出口就是免费的(之后每GB 8 美分)。


因此,我们可以拥有一个 3 个节点的 Kubernetes 集群,价格与单个数字机器相同。


除了设置 GKE 之外,我们还需要添加一些防火墙规则,以允许外网点击我们节点上的 HTTP 端口。操作是:从 hamburger 菜单转到 VPC 网络,防火墙规则添加为 TCP 端口 80 和 443 的规则,IP 范围为 0.0.0.0/0。



本地设置

随着集群的启动和运行,我们就可以对其进行配置。通过 cloud.google.com/sdk/docs 的说明安装 gcloud 工具。


安装完成后,你可以通过运行以下命令进行设置:

gcloud auth login

你还需安装 Docker,将其连接到 GCR 上,方便你进行容器推送:

gcloud auth configure-docker

你也可以按照此处的说明安装和设置 kubectl (此工具适用于 Windows,OSX 或 Linux)。

gcloud components install kubectl gcloud config set project PROJECT_ID gcloud config set compute/zone COMPUTE_ZONE gcloud container clusters get-credentials CLUSTER_NAME

构建 Web 应用程序

你可以使用任何编程语言构建 Web 应用。我们只需构建一个 port 端口的 HTTP 应用程序。就个人而言,我更喜欢在 Go 中构建这些应用程序,但对于某些类型,让我们尝试使用 Crystal。


创建一个 main.cr 文件:

# crystal-www-example/main.crrequire "http/server"Signal::INT.trap do
 exit
end

server = HTTP::Server.new do |context|
 context.response.content_type = "text/plain"
 context.response.print "Hello world from crystal-www-example! The time is #{Time.now}"end

server.bind_tcp("0.0.0.0", 8080)
puts "Listening on http://0.0.0.0:8080"server.listen

我们还需要一个 Dockerfile:

# crystal-www-example/Dockerfile
FROM crystallang/crystal:0.26.1 as builder

COPY main.cr main.cr

RUN crystal build -o /bin/crystal-www-example main.cr --release

ENTRYPOINT [ "/bin/crystal-www-example" ]

我们可以通过以下命令来构建和测试我们的 Web 应用程序:

docker build -t gcr.io/PROJECT_ID/crystal-www-example:latest . docker run -p 8080:8080 gcr.io/PROJECT_ID/crystal-www-example:latest

然后输入 localhost:8080 在浏览器中访问。接着我们可以通过以下方式将我们的应用程序推到 GCR 中运行:

docker push gcr.io/PROJECT_ID/crystal-www-example:latest

配置 Kubernetes

对于此示例,我们将创建几个 yaml 文件来表示各种服务,然后通过运行 kubectl apply 在集群中配置它们。Kubernetes 的配置具有描述性,这些 yaml 文件将会告诉 Kubernetes 我们希望看到的状态。


我们需要做的事情:

  • 为我们的 crystal-www-example Web 应用程序创建部署和服务;

  • 为 Nginx 创建一个 Daemon Set 和 Config Map;

  • 运行自定义应用程序使用 Cloudflare 到 DNS 同步 node IP。


Web App 配置

首先让我们配置 webapp:(先将 PROJECT_ID 替换为你的项目 ID)

# kubernetes-config/crystal-www-example.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
 name: crystal-www-example
 labels:
 app: crystal-www-example
spec:
 replicas: 1
 selector:
 matchLabels:
 app: crystal-www-example
 template:
 metadata:
 labels:
 app: crystal-www-example
 spec:
 containers:
 - name: crystal-www-example
 image: gcr.io/PROJECT_ID/crystal-www-example:latest
 ports:
 - containerPort: 8080---

kind: Service
apiVersion: v1
metadata:
 name: crystal-www-example
spec:
 selector:
 app: crystal-www-example
 ports:
 - protocol: TCP
 port: 8080
 targetPort: 8080

现在创建一个 Deployment,它会通知 Kubernetes 创建一个 Pod,其中包含一个运行 Docker 容器的容器,以及一个用于集群内的 service discovery 。要应用此配置运行(在 kubernetes-config 文件夹中):

kubectl apply -f .

我们可以使用以下方法测试它是否在运行:

kubectl get pod
# you should see something like:
# crystal-www-example-698bbb44c5-l9hj9 1/1 Running 0 5m

我们还可以创建代理 API,以便我们访问它:

kubectl proxy

然后访问:

http://localhost:8001/api/v1/namespaces/default/services/crystal-www-example/proxy/


Nginx 配置

通常,在 Kubernetes 中处理 HTTP 服务时,你会使用 ingress controller。不幸的是,Google 的 HTTP 负载均衡器非常昂贵,因此我们将运行自己的 HTTP 代理并手动配置它。


我们将使用 Daemon Set 和 Config Map。Daemon Set 是在每个节点上运行的应用程序。Config Map 基本上是一个小文件,我们可以在容器中安装它,我们将存储 Nginx 配置。


yaml 看起来像这样:

apiVersion: apps/v1
kind: DaemonSet
metadata:
 name: nginx
 labels:
 app: nginx
spec:
 selector:
 matchLabels:
 app: nginx
 template:
 metadata:
 labels:
 app: nginx
 spec:
 hostNetwork: true
 dnsPolicy: ClusterFirstWithHostNet
 containers:
 - image: nginx:1.15.3-alpine
 name: nginx
 ports:
 - name: http
 containerPort: 80
 hostPort: 80
 volumeMounts:
 - name: "config"
 mountPath: "/etc/nginx"
 volumes:
 - name: config
 configMap:
 name: nginx-conf

---

apiVersion: v1
kind: ConfigMap
metadata:
 name: nginx-conf
data:
 nginx.conf: |
 worker_processes 1;
 error_log /dev/stdout info;

 events {
 worker_connections 10;
 }

 http {
 access_log /dev/stdout;

 server {
 listen 80;
 location / {
 proxy_pass http://crystal-www-example.default.svc.cluster.local:8080;
 }
 }
 }

你可以看到我们如何在 Nginx 容器内挂载 config map 的 nginx.conf。我们还在规范上设置了两个附加字段:hostNetwork: true、dnsPolicy: ClusterFirstWithHostNet 。

  • hostNetwork: true 以便我们可以绑定主机端口并从外网到达 Nginx;

  • dnsPolicy: ClusterFirstWithHostNet 以便我们可以访问集群内的服务。


应用更改:通过点击节点的公共 IP 来到达 Nginx。


你可以通过运行找到:

kubectl get node -o yaml
# look for:
# - address: ...
# type: ExternalIP

我们的网络应用程序现在可通过互联网访问了。现在想想给它起一个好听的名字!


连接 DNS

我们需要 A 为集群的节点设置 3 条 DNS 记录:

然后添加一个 CNAME 条目以指向那些 A 记录。(即 www.example.com CNAME kubernetes.example.com)我们可以手动执行此操作,但最好自动执行此操作,以便在扩展或替换节点时 DNS 记录自动更新。


我认为这也是一个很好的说明示例,说明如何让 Kubernetes 为你工作而不是反对它。Kubernetes 完全可编写脚本,并且具有强大的 API。因此你可以使用不太难编写的自定义组件填补空白。我为此构建了一个小型 Go 应用程序,可在此处找到:kubernetes-cloudflare-sync。


建立一个 informer:

factory := informers.NewSharedInformerFactory(client, time.Minute)
lister := factory.Core().V1().Nodes().Lister()
informer := factory.Core().V1().Nodes().Informer()
informer.AddEventHandler(cache.ResourceEventHandlerFuncs{
 AddFunc: func(obj interface{}) {
 resync()
 },
 UpdateFunc: func(oldObj, newObj interface{}) {
 resync()
 },
 DeleteFunc: func(obj interface{}) {
 resync()
 },
})
informer.Run(stop)

informer 将在节点更改时随时调用我的 resync 函数。然后使用 Cloudflare API 库(github.com/cloudflare/cloudflare-go)同步 IP ,类似于:

var ips []stringfor _, node := range nodes { for _, addr := range node.Status.Addresses { if addr.Type == core_v1.NodeExternalIP {
 ips = append(ips, addr.Address)
 }
 }
}
sort.Strings(ips)for _, ip := range ips {
 api.CreateDNSRecord(zoneID, cloudflare.DNSRecord{
 Type: "A",
 Name: options.DNSName,
 Content: ip,
 TTL: 120,
 Proxied: false,
 })
}

就像我们的网络应用程序一样,我们将此应用程序作为 Kubernetes 中的部署:

apiVersion: apps/v1
kind: Deployment
metadata:
 name: kubernetes-cloudflare-sync
 labels:
 app: kubernetes-cloudflare-sync
spec:
 replicas: 1
 selector:
 matchLabels:
 app: kubernetes-cloudflare-sync
 template:
 metadata:
 labels:
 app: kubernetes-cloudflare-sync
 spec:
 serviceAccountName: kubernetes-cloudflare-sync
 containers:
 - name: kubernetes-cloudflare-sync
 image: gcr.io/PROJECT_ID/kubernetes-cloudflare-sync
 args:
 - --dns-name=kubernetes.example.com
 env:
 - name: CF_API_KEY
 valueFrom:
 secretKeyRef:
 name: cloudflare
 key: api-key
 - name: CF_API_EMAIL
 valueFrom:
 secretKeyRef:
 name: cloudflare
 key: email

你需要使用 cloudflare api 密钥和电子邮件地址创建 Kubernetes 密码:

kubectl create secret generic cloudflare --from-literal=email='EMAIL' --from-literal=api-key='API_KEY'

你还需要创建服务帐户(它允许我们的部署访问 Kubernetes API 来检索节点)。首次运行(特别是对于 GKE):

kubectl create clusterrolebinding cluster-admin-binding --clusterrole cluster-admin --user YOUR_EMAIL_ADDRESS_HERE

然后申请:

apiVersion: v1
kind: ServiceAccount
metadata:
 name: kubernetes-cloudflare-sync
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
 name: kubernetes-cloudflare-sync
rules:
- apiGroups: [""]
 resources: ["nodes"]
 verbs: ["list", "watch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
 name: kubernetes-cloudflare-sync-viewer
roleRef:
 apiGroup: rbac.authorization.k8s.io
 kind: ClusterRole
 name: kubernetes-cloudflare-sync
subjects:
- kind: ServiceAccount
 name: kubernetes-cloudflare-sync
 namespace: default

配置就绪后,运行 Cloudflare 的应用程序将在任何节点更改时被更新。以上就是基于 Kubernetes 部署小型集群的详细教程。

总 结

Kubernetes 就是这样一个收放自如的技术。就像你可能永远用不到 SQL 数据库中的所有功能,但你不得不承认 SQL 数据库极大地提高了你快速交付解决方案的能力。

Kubernetes 与 SQL 十分相似。在 Kubernetes 庞大的技术体系下,我们也并不能用到所有功能,却能在每个项目中恰到好处的使用部分功能实现完美部署。在每次利用 Kubernetes 部署小型集群时,我都会从中获得新的认知。

所以我的观点是,Kubernetes 对于小型部署也很有意义,而且既易于使用又便宜。如果你从来没有尝试过,现在就开动起来吧!

本文转自掘金-超适合小项目的 K8S 部署策略

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
2月前
|
Kubernetes 持续交付 Docker
利用 Docker 和 Kubernetes 实现微服务部署
【10月更文挑战第2天】利用 Docker 和 Kubernetes 实现微服务部署
|
5天前
|
存储 Kubernetes 容器
K8S部署nexus
该配置文件定义了Nexus 3的Kubernetes部署,包括PersistentVolumeClaim、Deployment和服务。PVC请求20Gi存储,使用NFS存储类。Deployment配置了一个Nexus 3容器,内存限制为6G,CPU为1000m,并挂载数据卷。Service类型为NodePort,通过30520端口对外提供服务。所有资源位于`nexus`命名空间中。
|
2月前
|
Prometheus Kubernetes 监控
k8s部署针对外部服务器的prometheus服务
通过上述步骤,您不仅成功地在Kubernetes集群内部署了Prometheus,还实现了对集群外服务器的有效监控。理解并实施网络配置是关键,确保监控数据的准确无误传输。随着监控需求的增长,您还可以进一步探索Prometheus生态中的其他组件,如Alertmanager、Grafana等,以构建完整的监控与报警体系。
140 60
|
2月前
|
Prometheus Kubernetes 监控
k8s部署针对外部服务器的prometheus服务
通过上述步骤,您不仅成功地在Kubernetes集群内部署了Prometheus,还实现了对集群外服务器的有效监控。理解并实施网络配置是关键,确保监控数据的准确无误传输。随着监控需求的增长,您还可以进一步探索Prometheus生态中的其他组件,如Alertmanager、Grafana等,以构建完整的监控与报警体系。
270 62
|
28天前
|
Kubernetes Cloud Native 微服务
云原生入门与实践:Kubernetes的简易部署
云原生技术正改变着现代应用的开发和部署方式。本文将引导你了解云原生的基础概念,并重点介绍如何使用Kubernetes进行容器编排。我们将通过一个简易的示例来展示如何快速启动一个Kubernetes集群,并在其上运行一个简单的应用。无论你是云原生新手还是希望扩展现有知识,本文都将为你提供实用的信息和启发性的见解。
|
1月前
|
关系型数据库 MySQL Java
【Docker最新版教程】一文带你快速入门Docker常见用法,实现容器编排和自动化部署上线项目
Docker快速入门到项目部署,MySQL部署+Nginx部署+docker自定义镜像+docker网络+DockerCompose项目实战一文搞定!
|
1月前
|
存储 运维 Kubernetes
K8s业务迁移最佳实践: 灵活管理资源备份与调整策略,实现高效简便的应用恢复
在当今快速变化的云原生领域,Kubernetes(K8s)集群的运维面临着诸多挑战,其中灾备与业务迁移尤为关键。ACK备份中心支持丰富的资源调整策略,在数据恢复阶段即可自动适配目标集群环境,确保业务无缝重启。
|
1月前
|
存储 Kubernetes Devops
Kubernetes集群管理和服务部署实战
Kubernetes集群管理和服务部署实战
55 0
|
1月前
|
Kubernetes 监控 Java
如何设置 Kubernetes的垃圾回收策略为定期
如何设置 Kubernetes的垃圾回收策略为定期
|
1月前
|
Kubernetes Java 调度
Kubernetes中的Pod垃圾回收策略是什么
Kubernetes中的Pod垃圾回收策略是什么