环境
一台ECS gitlab 16.10

一台ECS gitlab-runner docker方式

一台腾讯云服务器 k3s k3s version v1.30.5+k3s1 (9b586704)
go version go1.22.6
本地: idea 2024

准备开始
gitlab上创建"api"仓库,本地IDEA 创建spring boot web demo项目k8s-gitlab-demo. 确保能正常打包，并本地可以通过java -jar xxx.jar 正常运行。 然后推送到gitlab的"api"仓库，后面当代码更改后可以触发流水线
代码中根目录下增 加Dockerfile，内容如下：
FROM openjdk:8-jdk
COPY ./*.jar app.jar
EXPOSE 8080
ENTRYPOINT ["java","-jar","app.jar"]
1
2
3
4
根目录下增加gitlab-ci.yml 注意名字是固定的不然流水线也不会触发。内容:

因为我们Runner执行器设置为docker, 所以这里需要指定docker的版本

image: docker:stable

variables:
MAVEN_IMAGE: maven:3.5-jdk-8-alpine # maven 打包使用的镜像
K8S_IMAGE: registry.cn-hangzhou.aliyuncs.com/sanchar/kubectl:v1.20.1 # k8s 部署使用的镜像
PROJECT_IMAGE_SERVER: registry.cn-hangzhou.aliyuncs.com # 阿里云镜像地址
PROJECT_IMAGE: registry.cn-hangzhou.aliyuncs.com/favision_anban/mes-web:1.0 # 项目镜像链接
MAVEN_OPTS: -Dmaven.repo.local=/root/.m2/repository # 指定 maven 本地仓库路径，以便做缓存
PACKAGE_CACHE_REF_NAME: k8s-gitlab-demo-cache
DEPLOYMENT_NAME: k8s-gitlab-demo # 项目在 k8s 中部署的名称
K8S_NS: demo # k8s 命名空间

stages:

• package
• build
• deploy

package:
stage: package
script:

- echo "=============== 开始编译打包任务 ==============="
- rm -fr /data/gitlab-runner/tmp/intelligent
- mkdir -p /data/gitlab-runner/tmp/intelligent
- mvn clean package -P test -Dmaven.test.skip=true $MAVEN_OPTS --settings=/root/.m2/settings.xml
- cp -r target/*.jar Dockerfile /data/gitlab-runner/tmp/intelligent

only:

- master

image: $MAVEN_IMAGE

build:
stage: build
script:

- echo "=============== docker build image  ==============="
- cd /data/gitlab-runner/tmp/intelligent
- docker build -t $PROJECT_IMAGE .
- docker login --username $REG_USERNAME --password $REG_PASSWORD $PROJECT_IMAGE_SERVER
- docker push $PROJECT_IMAGE

only:

- master

使用 k8s 部署

deploy:
stage: deploy
image: $K8S_IMAGE
environment: k3s-gitlab

构建 k8s 可执行环境

before_script:

- mkdir -p /etc/kubernetes
- mv $K8S_ADMIN_CONF /etc/kubernetes/admin.conf
- echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
- source ~/.bash_profile

script:

- echo "=============== deploy  ==============="
- if [ "$(kubectl get deployment -n $K8S_NS | grep $DEPLOYMENT_NAME | awk '{print $1}')" ]; then
- kubectl set image deploy $DEPLOYMENT_NAME $DEPLOYMENT_NAME=$PROJECT_IMAGE -n $K8S_NS
- kubectl scale deployment $DEPLOYMENT_NAME --replicas=0 -n $K8S_NS
- kubectl scale deployment $DEPLOYMENT_NAME --replicas=1 -n $K8S_NS
- else
- mv $K8S_DEMO_YAML $DEPLOYMENT_NAME.yaml
- kubectl apply -f $DEPLOYMENT_NAME.yaml -n $K8S_NS
- fi

only:

- master

environment: k3s-gitlab

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
gilab-ci.yml 涉及的内容比较多，如maven拉取镜像如何加速、阿里云镜像库如何登录、k3s客户端kubectl如何访问k3s集群。后面再展开。
根目录下增加k8s-demo.yaml,用来自动部署spring boot应用，内容如下:

apiVersion: v1
kind: Service
metadata:
name: $DEPLOYMENT_NAME
namespace: demo
labels:
app: ci-cd-demo
spec:
type: NodePort
ports:

• name: ci-cd-demo
  port: 8080
  protocol: TCP
  nodePort: 30080
  selector:
  app: ci-cd-demo

apiVersion: apps/v1
kind: Deployment #对象类型
metadata:
name: $DEPLOYMENT_NAME #名称
labels:
app: ci-cd-demo #标注
spec:
replicas: 1 #运行容器的副本数，修改这里可以快速修改分布式节点数量
selector:
matchLabels:
app: ci-cd-demo
template:
metadata:
labels:
app: ci-cd-demo
spec:
containers: #docker容器的配置

   - name: $DEPLOYMENT_NAME
     image: $PROJECT_IMAGE
     imagePullPolicy: Always
     ports:
       - containerPort: 8080
         protocol: TCP
     env:
       - name: JAVA_OPTS
         value: -Xms256m -Xmx256m
 imagePullSecrets:
   - name: aliyun-respository-secret

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
可以看到在gitlab.yml的流水线及k8s-demo.yaml中用到了很多的变量，如REG_USERNAME、 K8S_IMAGE、 K8S_ADMIN_CONF等有的变量文件中没有需要在gitlab->api仓库、设置->ci/cd->变量中增加。如图:

详细说明如下：

K8S_ADMIN_CONF: 为文件类型变量，内容是k3s的配置文件内容
具体位置在腾讯云服务器的/etc/rancher/k3s/k3s.yml
注意copy值之前要把里面的server地址改成服务器的外网地址,不能是127.0.0.1:6443.原始值如图：

改掉以后才能被阿里云ECS上的kubectl访问。

K8S-DEMO_YAML: 文件型变量,值为k8s-demo.yaml的内容，直接拷贝无需更改。

REG_USERNAME: 数值类型变量，为自己的阿里云私有仓库登录用户名

REG_PASSWORD: 数值类型变量，为自己的阿里云私有仓库登录密码

docker方式安装gitlab runner(和gitlab不是统一台ECS),然后后在api仓库中注册runner
不然流水线会一直阻塞，不会运行。

腾讯云服务器上安装k3s,为了使外网能访问需要使用–tls-san 选项，安装命令如下：

curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC="--tls-san 你的服务器地址" sh -s -
1
具体原因参考：https://github.com/k3s-io/k3s/issues/1381
我使用的重装的方式，因为机器上已经安装好了k3s.其他方式还待研究，大神有好方式的请不吝留言赐教。
为了是containerd拉取镜像速度更快，需要在配置加速。
在腾讯云的shell下目录线执行：

cat >> /etc/rancher/k3s/registries.yaml <<EOF
mirrors:
"docker.io":
endpoint:

  - "https://po13h3y1.mirror.aliyuncs.com"
  - "http://hub-mirror.c.163.com"
  - "https://mirror.ccs.tencentyun.com"
  - "https://registry-1.docker.io"
  - "http://f1361db2.m.daocloud.io"

EOF
systemctl restart k3s
1
2
3
4
5
6
7
8
9
10
11
k3s安装成功后，由于后面要从阿里云拉取镜像部署spring boot,
所以要事前创建好阿里云的secret，名字要和k8s-demo.yaml中
的名字一致

执行命令：

kubectl create namespace demo
kubectl create secret docker-registry aliyun- respository-secret \
--docker-server=registry.cn-hangzhou.aliyuncs.com \
--docker-username=你的阿里云用户名 \
--docker-password=你的阿里云密码 \
--docker-email=你的阿里云邮箱
1
2
3
4
5
6
注意要在腾讯云的防火墙开放k3s的6443端口，NodePort 30080端口

执行流水线
本地更改controller的任意代码，提交并推送到gitlab。可以看到流水线执行成功

然后登录到k3s服务器，输入可以看到有pod的一个副本在运行中！

kubectl get pod --namespace demo
1

可以执行如下命令，查看pod的信息

kubectl describe pod k8s-gitlab-demo-6994fcbbc7-5p5r4 --namespace demo
1
可以看到pod使用的镜像就是CI中推送到阿里云上的镜像,说明可以正常拉取，如果不正常，这个命令可以看到错误信息。

最后可以打开浏览器访问：
http://你的ip地址:30080/user
可以看到正常返回信息，

说明CI/CD部署成功！

注意和优化的地方
阿里云登录和外部访问k3s集群的地方上面已经讲过。这里主要说下maven加速。
在gitlab-ci.yml中可以看到mvn命令是runner拉取镜像并创建容器后才会有，在两台ECS和腾讯服务器的宿主机上均不会安装maven。如果你的流水线，在package阶段执行比较慢，在gitlab-runner服务器上通过docker ps命令可以看到有一个动态容器产生了，通过docker exec -it 容器id /bin/bash 进入容器，shell下执行 mvn
可以看到mvn是有效的，但是找到对应的settings.xml，里面基本上没有什么配置，更不能加速.但是因为这个容器是gitlab-runner创建的所以就要通过这个桥梁了。查看它的容器信息

docker inspect gitlab-runner
1
可以看到它挂载了host上的config文件和docker客户端，

vim config.toml
1

在每个runner的docker部分都设置了挂载卷，其中就有.m2，host上目录就是 /data/.m2

ok，现在我们把自己配置了阿里云仓库的镜像的settings.xml上传到这个目录下，如图：

然后更改 gitlab-ci.yml中的mvn命令行(我已更改)，

• mvn clean package -P test -Dmaven.test.skip=true $MAVEN_OPTS --settings=/root/.m2/settings.xml
  1
  然后重新执行流水线。发现他会从aliyun上下载依赖，而不是超慢的maven2.