最近要迁移一个老服务到 kubernetes 上，自然需要在本地先测试好，然后再部署到生产集群中。然而 Docker Desktop 性能实在太差，而且已经不再免费了，所以研究了下其他工具，遂有本文。
用到的工具
- multipass 是 Ubuntu 背后的厂商 Canonical 推出的一款虚拟机工具，可以在本地快速搭建起一个 Ubuntu 集群用于开发和测试。
- k3s 是 Rancher 推出的一个轻量级 k8s 发行版。
- autok3s 是 Rancher 中国推出的一款自动部署 k3s 集群的工具。
- arkade 是一个快速安装 k8s 相关 cli 和 helm package 的命令行工具。
- podman 是一个开源的 docker 替代工具。
我们可以结合以上工具在 macOS 或 Linux 上快速搭建一个本地的 k8s 集群。
安装集群
# Ubuntu 官方提供的虚拟机工具 brew install multipass # 创建几个节点，分别是2核2G和2核4G，我的机器是 32G/2T，创建这几个节点还是绰绰有余的 multipass launch -c 2 -m 2G -d 40G -n primary multipass launch -c 2 -m 4G -d 40G -n worker1 multipass launch -c 2 -m 4G -d 40G -n worker2 # 为了方便，把宿主机的家目录 mount 到虚拟机上 # 因为 primary 机器默认已经 mount 了，只需要 mount worker 节点 multipass mount $HOME worker1:/home/ubuntu/Home multipass mount $HOME worker2:/home/ubuntu/Home # 这时候我们已经可以登录了 multipass shell primary/worker1/worker2 # 为了方便，把宿主机默认的 ssh key 复制过去 # 在每个虚拟机中都执行 cat Home/.ssh/id_rsa.pub >> .ssh/authorized_keys # 回到宿主机，安装 arkade + autok3s. Arkade 是一个 kubernetes 相关工具的快捷安装包 brew install arkade arkade get autok3s # 可能需要按照提示把 autok3s 加入 PATH # 首先 看一下机器的 IP mulitpass ls # Name State IPv4 Image # primary Running 192.168.64.2 Ubuntu 20.04 LTS # worker1 Running 192.168.64.3 Ubuntu 20.04 LTS # worker2 Running 192.168.64.4 Ubuntu 20.04 LTS # 测试一下 ssh ssh ubuntu@182.168.63.3 # 开始创建集群，这里我选择的名字是 imac，因为我是在自己的 iMac 上创建的集群。 # native provider 指的是使用普通的 Linux 节点，因为 autok3s 还支持众多云厂商。 autok3s -d create \ --provider native \ --name imac \ --ssh-user ubuntu \ --ssh-key-path $HOME/.ssh/id_rsa \ --master-ips 192.168.64.2 \ --worker-ips 192.168.64.3,192.168.64.4 # 稍等片刻，可以看到集群已经创建成功了 # 按照日志中的提示，切换配置到这个集群 autok3s kubectl config use-context imac # 然后就可以使用了~ autok3s kubectl get pods -A # NAMESPACE NAME READY STATUS RESTARTS AGE # kube-system local-path-provisioner-84bb864455-qg76v 1/1 Running 0 2m24s # kube-system coredns-96cc4f57d-6mq9f 1/1 Running 0 2m24s # kube-system helm-install-traefik-crd--1-2b7cc 0/1 Completed 0 2m24s # kube-system helm-install-traefik--1-5k4lg 0/1 Completed 1 2m24s # kube-system metrics-server-ff9dbcb6c-r7tzn 1/1 Running 0 2m24s # kube-system svclb-traefik-9sc9z 2/2 Running 0 104s # kube-system traefik-56c4b88c4b-xmffz 1/1 Running 0 104s # kube-system svclb-traefik-cvk8w 2/2 Running 0 56s # kube-system svclb-traefik-hj8cs 0/2 ContainerCreating 0 20s # 万一中途因为网络或者 ssh 配置错误等原因失败了，可以删掉有问题的集群重来 autok3s list autok3s -d delete --provider native --name imac # 如果还有没清理干净的残留，可以登录到虚拟机上使用 k3s-uninstall 脚本继续清理 # 安装后的 kubeconfig 文件默认在 ~/.autok3s/.kube/config 中，复制出来可以直接使用 kubectl mkdir -p ~/.kube cp ~/.autok3s/.kube/config ~/.kube/config kubectl get pods -A # 使用 arkade 安装 portainer 管理面板 arkade install portainer kubectl port-forward -n default svc/portainer 9000:9000 # 打开 localhost:9000 就可以看到 portainer 的界面啦~
到这里，集群就部署好啦，接下来我们部署一个 demo app 上去！
部署应用
搭建 docker registry
因为我的目的只是在本地做实验，所以没必要上传镜像到外部的 registry 上。但是本地的镜像也 不能在集群中直接使用。为了解决这个问题，我们在集群内部搭建一个 docker registry，用于把 镜像上传到集群中。为了把 registry 暴露到宿主机，我们还需要安装 ingress-nginx，并且在本地 和每个虚拟机的 /etc/hosts 中添加对应的域名。
这里，我们使用 docker.imac.local 作为本地仓库的域名。
# 删除 k3s 自带的 traefik kubectl delete svc/traefik -n kube-system kubectl delete deploy/traefik -n kube-system # 安装 ingress nginx arkade install ingress-nginx # 在 k8s 内部安装 docker registry arkade install docker-registry --email you@example.com --domain docker.imac.local # 在日志最后会输出密码，先记下来，不要丢了。本地的密码，亮出来也无所谓。 # export PASSWORD=zZPFqGO73IE26823434g # 在宿主机为我们的 registry 添加域名 docker.imac.local echo '192.168.64.2 docker.imac.local' >> /etc/hosts # 如果是在 mac 上，还需要登录 podman 虚拟机，执行同样的操作 podman machine ssh echo '192.168.64.2 docker.imac.local' >> /etc/hosts # 登录 multipass 的虚拟机，执行同样的操作 mulitpass shell primary/worker1/worker2 echo '192.168.64.2 docker.imac.local' >> /etc/hosts # 让 k3s 集群忽略 tls 错误, 同样需要在每台虚拟机上执行 cat >> /etc/rancher/k3s/registries.yaml << EOF configs: "docker.imac.local": auth: username: admin password: zZPFqGO73IE26823434g # 上面打印出的密码 tls: insecure_skip_verify: true EOF # 在每台虚拟机，依次重启 k3s sudo systemctl restart k3s # master sudo systemclt restart k3s-agent # worker # 宿主机上，使用 curl 验证一下，因为集群中使用的是自签名证书，这里使用 -k/--insecure 选项 # 忽略证书错误。 # 可以看到 404，说明 ingress controller 安装成功。但是集群还不知道这个域名该路由到哪个服务， # 所以返回了 404 Not Found curl -k https://docker.imac.local # <html> # <head><title>404 Not Found</title></head> # <body> # <center><h1>404 Not Found</h1></center> # <hr><center>nginx</center> # </body> # </html> # 安装 registry ingress arkade install docker-registry-ingress # 登录，同样忽略证书错误 podman login docker.imac.local --tls-verify=false # Username: admin # Password: # Login Succeeded!
registry 部署好之后，就可以打包推送镜像上去了。
