gitlab-ci 集成 k3s 部署spring boot 应用

简介: gitlab-ci 集成 k3s 部署spring boot 应用

环境
一台ECS gitlab 16.10

一台ECS gitlab-runner docker方式

一台腾讯云服务器 k3s k3s version v1.30.5+k3s1 (9b586704)
go version go1.22.6
本地: idea 2024

准备开始
gitlab上创建"api"仓库,本地IDEA 创建spring boot web demo项目k8s-gitlab-demo. 确保能正常打包,并本地可以通过java -jar xxx.jar 正常运行。 然后推送到gitlab的"api"仓库,后面当代码更改后可以触发流水线
代码中根目录下增 加Dockerfile,内容如下:
FROM openjdk:8-jdk
COPY ./*.jar app.jar
EXPOSE 8080
ENTRYPOINT ["java","-jar","app.jar"]
1
2
3
4
根目录下增加gitlab-ci.yml 注意名字是固定的不然流水线也不会触发。内容:

因为我们Runner执行器设置为docker, 所以这里需要指定docker的版本

image: docker:stable

variables:
MAVEN_IMAGE: maven:3.5-jdk-8-alpine # maven 打包使用的镜像
K8S_IMAGE: registry.cn-hangzhou.aliyuncs.com/sanchar/kubectl:v1.20.1 # k8s 部署使用的镜像
PROJECT_IMAGE_SERVER: registry.cn-hangzhou.aliyuncs.com # 阿里云镜像地址
PROJECT_IMAGE: registry.cn-hangzhou.aliyuncs.com/favision_anban/mes-web:1.0 # 项目镜像链接
MAVEN_OPTS: -Dmaven.repo.local=/root/.m2/repository # 指定 maven 本地仓库路径,以便做缓存
PACKAGE_CACHE_REF_NAME: k8s-gitlab-demo-cache
DEPLOYMENT_NAME: k8s-gitlab-demo # 项目在 k8s 中部署的名称
K8S_NS: demo # k8s 命名空间

stages:

  • package
  • build
  • deploy

package:
stage: package
script:

- echo "=============== 开始编译打包任务 ==============="
- rm -fr /data/gitlab-runner/tmp/intelligent
- mkdir -p /data/gitlab-runner/tmp/intelligent
- mvn clean package -P test -Dmaven.test.skip=true $MAVEN_OPTS --settings=/root/.m2/settings.xml
- cp -r target/*.jar Dockerfile /data/gitlab-runner/tmp/intelligent

only:

- master

image: $MAVEN_IMAGE

build:
stage: build
script:

- echo "=============== docker build image  ==============="
- cd /data/gitlab-runner/tmp/intelligent
- docker build -t $PROJECT_IMAGE .
- docker login --username $REG_USERNAME --password $REG_PASSWORD $PROJECT_IMAGE_SERVER
- docker push $PROJECT_IMAGE

only:

- master

使用 k8s 部署

deploy:
stage: deploy
image: $K8S_IMAGE
environment: k3s-gitlab

构建 k8s 可执行环境

before_script:

- mkdir -p /etc/kubernetes
- mv $K8S_ADMIN_CONF /etc/kubernetes/admin.conf
- echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
- source ~/.bash_profile

script:

- echo "=============== deploy  ==============="
- if [ "$(kubectl get deployment -n $K8S_NS | grep $DEPLOYMENT_NAME | awk '{print $1}')" ]; then
- kubectl set image deploy $DEPLOYMENT_NAME $DEPLOYMENT_NAME=$PROJECT_IMAGE -n $K8S_NS
- kubectl scale deployment $DEPLOYMENT_NAME --replicas=0 -n $K8S_NS
- kubectl scale deployment $DEPLOYMENT_NAME --replicas=1 -n $K8S_NS
- else
- mv $K8S_DEMO_YAML $DEPLOYMENT_NAME.yaml
- kubectl apply -f $DEPLOYMENT_NAME.yaml -n $K8S_NS
- fi

only:

- master

environment: k3s-gitlab

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
gilab-ci.yml 涉及的内容比较多,如maven拉取镜像如何加速、阿里云镜像库如何登录、k3s客户端kubectl如何访问k3s集群。后面再展开。
根目录下增加k8s-demo.yaml,用来自动部署spring boot应用,内容如下:


apiVersion: v1
kind: Service
metadata:
name: $DEPLOYMENT_NAME
namespace: demo
labels:
app: ci-cd-demo
spec:
type: NodePort
ports:

  • name: ci-cd-demo
    port: 8080
    protocol: TCP
    nodePort: 30080
    selector:
    app: ci-cd-demo

apiVersion: apps/v1
kind: Deployment #对象类型
metadata:
name: $DEPLOYMENT_NAME #名称
labels:
app: ci-cd-demo #标注
spec:
replicas: 1 #运行容器的副本数,修改这里可以快速修改分布式节点数量
selector:
matchLabels:
app: ci-cd-demo
template:
metadata:
labels:
app: ci-cd-demo
spec:
containers: #docker容器的配置

   - name: $DEPLOYMENT_NAME
     image: $PROJECT_IMAGE
     imagePullPolicy: Always
     ports:
       - containerPort: 8080
         protocol: TCP
     env:
       - name: JAVA_OPTS
         value: -Xms256m -Xmx256m
 imagePullSecrets:
   - name: aliyun-respository-secret

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
可以看到在gitlab.yml的流水线及k8s-demo.yaml中用到了很多的变量,如REG_USERNAME、 K8S_IMAGE、 K8S_ADMIN_CONF等有的变量文件中没有需要在gitlab->api仓库、设置->ci/cd->变量中增加。如图:

详细说明如下:

K8S_ADMIN_CONF: 为文件类型变量,内容是k3s的配置文件内容
具体位置在腾讯云服务器的/etc/rancher/k3s/k3s.yml
注意copy值之前要把里面的server地址改成服务器的外网地址,不能是127.0.0.1:6443.原始值如图:

改掉以后才能被阿里云ECS上的kubectl访问。

K8S-DEMO_YAML: 文件型变量,值为k8s-demo.yaml的内容,直接拷贝无需更改。

REG_USERNAME: 数值类型变量,为自己的阿里云私有仓库登录用户名

REG_PASSWORD: 数值类型变量,为自己的阿里云私有仓库登录密码

docker方式安装gitlab runner(和gitlab不是统一台ECS),然后后在api仓库中注册runner
不然流水线会一直阻塞,不会运行。

腾讯云服务器上安装k3s,为了使外网能访问需要使用–tls-san 选项,安装命令如下:

curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC="--tls-san 你的服务器地址" sh -s -
1
具体原因参考:https://github.com/k3s-io/k3s/issues/1381
我使用的重装的方式,因为机器上已经安装好了k3s.其他方式还待研究,大神有好方式的请不吝留言赐教。
为了是containerd拉取镜像速度更快,需要在配置加速。
在腾讯云的shell下目录线执行:

cat >> /etc/rancher/k3s/registries.yaml <<EOF
mirrors:
"docker.io":
endpoint:

  - "https://po13h3y1.mirror.aliyuncs.com"
  - "http://hub-mirror.c.163.com"
  - "https://mirror.ccs.tencentyun.com"
  - "https://registry-1.docker.io"
  - "http://f1361db2.m.daocloud.io"

EOF
systemctl restart k3s
1
2
3
4
5
6
7
8
9
10
11
k3s安装成功后,由于后面要从阿里云拉取镜像部署spring boot,
所以要事前创建好阿里云的secret,名字要和k8s-demo.yaml中
的名字一致

执行命令:

kubectl create namespace demo
kubectl create secret docker-registry aliyun- respository-secret \
--docker-server=registry.cn-hangzhou.aliyuncs.com \
--docker-username=你的阿里云用户名 \
--docker-password=你的阿里云密码 \
--docker-email=你的阿里云邮箱
1
2
3
4
5
6
注意要在腾讯云的防火墙开放k3s的6443端口,NodePort 30080端口

执行流水线
本地更改controller的任意代码,提交并推送到gitlab。可以看到流水线执行成功

然后登录到k3s服务器,输入可以看到有pod的一个副本在运行中!

kubectl get pod --namespace demo
1

可以执行如下命令,查看pod的信息

kubectl describe pod k8s-gitlab-demo-6994fcbbc7-5p5r4 --namespace demo
1
可以看到pod使用的镜像就是CI中推送到阿里云上的镜像,说明可以正常拉取,如果不正常,这个命令可以看到错误信息。

最后可以打开浏览器访问:
http://你的ip地址:30080/user
可以看到正常返回信息,

说明CI/CD部署成功!

注意和优化的地方
阿里云登录和外部访问k3s集群的地方上面已经讲过。这里主要说下maven加速。
在gitlab-ci.yml中可以看到mvn命令是runner拉取镜像并创建容器后才会有,在两台ECS和腾讯服务器的宿主机上均不会安装maven。如果你的流水线,在package阶段执行比较慢,在gitlab-runner服务器上通过docker ps命令可以看到有一个动态容器产生了,通过docker exec -it 容器id /bin/bash 进入容器,shell下执行 mvn
可以看到mvn是有效的,但是找到对应的settings.xml,里面基本上没有什么配置,更不能加速.但是因为这个容器是gitlab-runner创建的所以就要通过这个桥梁了。查看它的容器信息

docker inspect gitlab-runner
1
可以看到它挂载了host上的config文件和docker客户端,

vim config.toml
1

在每个runner的docker部分都设置了挂载卷,其中就有.m2,host上目录就是 /data/.m2

ok,现在我们把自己配置了阿里云仓库的镜像的settings.xml上传到这个目录下,如图:

然后更改 gitlab-ci.yml中的mvn命令行(我已更改),

  • mvn clean package -P test -Dmaven.test.skip=true $MAVEN_OPTS --settings=/root/.m2/settings.xml
    1
    然后重新执行流水线。发现他会从aliyun上下载依赖,而不是超慢的maven2.
相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
26天前
|
机器学习/深度学习 Python
堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能
本文深入探讨了堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能。文章详细介绍了堆叠的实现步骤,包括数据准备、基础模型训练、新训练集构建及元学习器训练,并讨论了其优缺点。
43 3
|
21天前
|
XML Java 数据格式
Spring Core核心类库的功能与应用实践分析
【12月更文挑战第1天】大家好,今天我们来聊聊Spring Core这个强大的核心类库。Spring Core作为Spring框架的基础,提供了控制反转(IOC)和依赖注入(DI)等核心功能,以及企业级功能,如JNDI和定时任务等。通过本文,我们将从概述、功能点、背景、业务点、底层原理等多个方面深入剖析Spring Core,并通过多个Java示例展示其应用实践,同时指出对应实践的优缺点。
47 14
|
21天前
|
XML Java API
Spring Boot集成MinIO
本文介绍了如何在Spring Boot项目中集成MinIO,一个高性能的分布式对象存储服务。主要步骤包括:引入MinIO依赖、配置MinIO属性、创建MinIO配置类和服务类、使用服务类实现文件上传和下载功能,以及运行应用进行测试。通过这些步骤,可以轻松地在项目中使用MinIO的对象存储功能。
|
22天前
|
消息中间件 监控 Java
如何将Spring Boot + RabbitMQ应用程序部署到Pivotal Cloud Foundry (PCF)
如何将Spring Boot + RabbitMQ应用程序部署到Pivotal Cloud Foundry (PCF)
31 6
|
19天前
|
XML 前端开发 安全
Spring MVC:深入理解与应用实践
Spring MVC是Spring框架提供的一个用于构建Web应用程序的Model-View-Controller(MVC)实现。它通过分离业务逻辑、数据、显示来组织代码,使得Web应用程序的开发变得更加简洁和高效。本文将从概述、功能点、背景、业务点、底层原理等多个方面深入剖析Spring MVC,并通过多个Java示例展示其应用实践,同时指出对应实践的优缺点。
45 2
|
22天前
|
Java 关系型数据库 MySQL
如何将Spring Boot + MySQL应用程序部署到Pivotal Cloud Foundry (PCF)
如何将Spring Boot + MySQL应用程序部署到Pivotal Cloud Foundry (PCF)
40 5
|
22天前
|
缓存 监控 Java
如何将Spring Boot应用程序部署到Pivotal Cloud Foundry (PCF)
如何将Spring Boot应用程序部署到Pivotal Cloud Foundry (PCF)
31 5
|
23天前
|
消息中间件 Java Kafka
什么是Apache Kafka?如何将其与Spring Boot集成?
什么是Apache Kafka?如何将其与Spring Boot集成?
57 5
|
25天前
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
37 1
|
26天前
|
消息中间件 监控 Java
您是否已集成 Spring Boot 与 ActiveMQ?
您是否已集成 Spring Boot 与 ActiveMQ?
49 0