博主介绍:Java领域优质创作者,博客之星城市赛道TOP20、专注于前端流行技术框架、Java后端技术领域、项目实战运维以及GIS地理信息领域。
🍅文末获取源码下载地址🍅
👇🏻 精彩专栏推荐订阅👇🏻 欢迎点赞收藏评论拍砖........
【Docker Swarm总结】《容器技术 Docker+K8S专栏》✅
【uniapp+uinicloud多用户社区博客实战项目】《完整开发文档-从零到完整项目》✅
【Springcloud Alibaba微服务分布式架构 | Spring Cloud】《系列教程-更新完毕》✅
【SpringSecurity-从入门到精通】《学习完整笔记-附(完整demo源码)》✅
【从零开始Vue项目中使用MapboxGL开发三维地图教程】《系列教程-不定时更新》✅
感兴趣的可以先收藏起来相关问题都可以给我留言咨询,希望帮助更多的人。
23、自由风格的 CI 操作(最终架构)
前面的架构存在的问题是,若有多个目标服务器都需要使用该镜像,那么每个目标服务
器都需要在本地构建镜像,形成系统资源浪费。若能够在 Jenkins 中将镜像相撞构建好并推
送到 Harbor 镜像中心,那么无论有多少目标服务器需要该镜像,都只需要从 Harbor 拉取即
可。
23.1 Jenkins 容器化实现
(1) Jenkins 容器化实现方案
有两种方案:
- DioD:要容器内部安装 Docker 引擎(不常用)
- DooD:与宿主机共享 Docker 引擎(常用)
(2) 修改 docker.sock 权限
/var/run/docker.sock 文件是 docker client 和 docker daemon 在本地进行通信的 socket
文件。默认的组为 docker,且 other 用户不具有读写权限,这样 Jenkins 是无法来操作该文
件的。
所以这里需要将其组调整为 root,且为其分配读写权限。(这个跟docker容器相关的,容器关闭后需要重新授权一下)
chown root:root docker.sock chmod o+rw docker.sock
此时再查看便可看到组与权限已经发生了变化。
(3) 修改 Jenkins 启动命令后重启
首先强制删除正在运行的 Jenkins 容器。
docker rm -f jenkins
然后在 Jenkins 启动命令中新增/var/run/docker.sock,docker 命令文件/usr/bin/docker,及/etc/docker/daemon.json 文件为数据卷。重启 Jenkins 容器。
docker run --name jenkins \ --restart always \ -p 8080:8080 \ -p 50000:50000 \ -v /var/jenkins_home:/var/jenkins_home \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /usr/bin/docker:/usr/bin/docker \ -v /etc/docker/daemon.json:/etc/docker/daemon.json \ -d jenkins/jenkins:2.387.1-lts
测试docker是否运行正常:
## 进入docker容器 docker exec -it jenkins bash ## 查看docker信息 docker info
23.2 构建并推送镜像到 Harbor
这里要实现 Jenkins 将来自 GitLab 的 jar 包构建为镜像,并推送到 Harbor。
(1) 修改 daemon.json 文件
Jenkins 是 Harbor 的客户端,需要修改/etc/docker/daemon.json 文件。修改后重启 Docker。
"insecure-registries":["192.168.162.124"]
(2) Jenkins 删除构建后操作
原来的 Jenkins 中配置的“构建后操作”完成的是将代码推送到目标服务器后,让目标服务器通过 docker compose 完成镜像的构建与启动。但现在不需要了,因为镜像构建任务要由 Jenkins 自己完成了。在 Jenkins 当前任务下的“配置”中删除。
(3) Jenkins 添加 shell 命令
在 sonarqube 对代码质量检测完毕后,再添加一个“构建步骤”。这个构建步骤通过 shell命令方式完成。
mv target/*.jar docker/ docker build -t hellojks docker/ docker login -u admin -p 11111111 192.168.192.110 docker tag hellojks 192.168.192.118/jks/hellojks docker image prune -f docker push 192.168.192.110/jks/hellojks
(4) 重新构建
Jenkins 中在返回的任务首页中,再次执行立即构建。构建成功后,在 Jenkins 主机中可以查看到构建好的镜像与重 tag 过的镜像。
在 harbor 的仓库中也可以看到推送来的镜像。
23.3 通知目标服务器
(1) 修改 daemon.json 文件
目标服务器是 Harbor 的客户端,需要修改/etc/docker/daemon.json 文件。修改后重启
Docker。
(2) 定义脚本文件
在目标服务器 PATH 路径下的任意目录中定义一个脚本文件 deploy.sh。例如,定义在/usr/local/bin 目录下。然后再为其赋予可执行权限。这样该 deploy 命令就可以在任意目录下运行了。
文件内容如下:
(3) Jenkins 添加端口号参数
为了使用户可以随时指定容器对外暴露的参数,这里在 Jenkins 当前任务下的“配置”中“参数化构建过程”中添加一个字符参数。
(4) Jenkins 添加构建后操作
还是在 Jenkins 当前任务下的“配置”中,为任务添加构建后操作。
(5) 重新构建工程
这次重新构建,可以看到出现了 export_port 的文本框。在这里可以修改容器对外暴露的端口号。
构建成功后可以看到,目标服务器中增加了新的镜像,该镜像是从 harbor 拉取的。
还可以看到,该镜像的容器也已经启动。
通过浏览器访问目标服务器的应用,是没有问题的。
24、自由风格的 CD 操作
现在要为 GitLab 中当前的项目主干分支 origin/master 上的代码打上一个 Tag,例如 v1.0.0。
然后修改代码后仍提交到 GitLab 的主干分支 origin/master 上,此时再给项目打上一个 Tag,
例如 v2.0.0。这样, hellojenkins 项目的主干分支 origin/master 上就打上了两个 Tag。
而 Jenkins 可以根据主干分支 origin/master 上代码的不同 Tag 对项目进行分别构建。实
现项目的持续交付与持续部署。
24.1 发布 V1.0.0 版本
(1) 修改代码并推送
简单修改一个 Controller 中方法的返回值。修改代码后,将其推送到 GitLab。
(2) GitLab 中项目打 Tag
24.2 发布 V2.0.0 版本
(1) 修改代码
简单修改一个 Controller 中方法的返回值。将修改后的项目源码提交到 GitLab。
(2) GitLab 中再打 Tag
在 GitLab 中再次为刚提交到主干分支 origin/master 上的代码再打上一个新的 Tag。
此时可以看到,当前项目具有了两个 Tag。
24.3 Jenkins 配置 tag 参数
由于 GitLab 中的项目具有 tag 标签,那么 Jenkins 在进行项目构建时就需要让用户选择
准备构建哪个 tag 的项目。所以,需要在 Jenkins 中配置一个 Git 参数 tag 作为用户选项。
(1) 添加 Git 参数
这里选择的 Git 参数,即为前面下载的 Git Parameter 插件。
(2) 添加 checkout 命令
然后当前页面继续下拉,找到 Build Steps。
(3) 修改构建命令配置
然后当前页面继续下拉,找到 Build Steps 中原来添加的构建命令。在所有涉及镜像的命
令中添加上$hjtag 变量引用。然后应用保存。
(4) 修改 SSH 配置
然后当前页面继续下拉,找到“构建后操作”中的 Send build artifacts over SSH 中的 Exec
command,将原来写死的版本 latest 修改为$hjtag。
24.4 部署 v1.0.0
(1) 重新构建工程
任务首页中再次点击 Build with Parameters 构建项目,发现增加了 hjtag 选项。这里选择v1.0.0 进行构建。
(2) 构建结果
构建成功后,在 Jenkins 中可以看到增加了新的镜像。
Harbor 中新增了 v1.0.0 的镜像。
在目标服务器上新增了 v1.0.0 的镜像,且该容器也运行了起来
在浏览器上访问到的页面内容也是 v1.0.0 的内容了。
24.5 部署 v2.0.0
此时再选择 v2.0.0 进行构建。
构建成功后,在浏览器刷新即可看到 v2.0.0 版本的内容了。
25、流水线任务
25.1 流水线简介
流水线是 Jenkins 对项目构建过程的一种管理方式。其将项目的构建过程按照构建阶段进行非常清晰的划分显示。用户可以通过可视化操作方式来轻松查看、管理构建过程中的各个阶段。
25.2 Hello World
(1) 新建流水线任务
(2) Hello World 项目创建与构建
pipeline { agent any stages { stage('Hello') { steps { echo 'Hello World' } } } }
点击立即构建后,就会看到“阶段视图”。
将鼠标放到各个阶段上会显示出 logs,点击 logs 可看到相关的日志。
(3) 修改项目脚本
为了更好的理解脚本,这里对 hello workd 项目的脚本进行修改。
pipeline { agent any stages { stage('构建阶段1') { steps { echo '构建阶段1--构建成功' } } stage('构建阶段2') { steps { echo '构建阶段2--构建成功' } } stage('构建阶段3') { steps { echo '构建阶段3--构建成功' } } } }
(4) 再次构建
应用保存后,再次立即构建。阶段视图发生较大变化。每个阶段上均可看到相应的日志。
25.3 SCM 方式维护脚本
Jenkins 流水线任务提供了两种维护脚本的方式。本地方式与 SCM 方式。在 Jenkins 中维护的方式称为本地方式。
(1) 代码中追加 Jenkinsfile
每个要构建的项目采用 piple 方式进行构建管理,要求必须要有一个构建脚本,而采用SCM 脚本维护方式时,默认该脚本文件名为 Jenkinsfile。
对于本例,在 Idea 中的项目根目录下追加一个名为 Jenkinsfile 的文件。然后再将原来的脚本内容复制到该文件中。为了显示区别,这里对脚本内容进行了简单修改。
Jenkinsfile:
pipeline { agent any stages { stage('构建阶段111') { steps { echo '构建阶段111--构建成功' } } stage('构建阶段222') { steps { echo '构建阶段222--构建成功' } } stage('构建阶段333') { steps { echo '构建阶段333--构建成功' } } } }
(2) 提交修改到 GitLab
将项目的修改追加到 GitLab 中。
然后在 GitLab 的项目首页中就可看到多了一个 Jenkinsfile 文件。然后再复制该项目的http 地址。
(3) Jenkins 配置
在 Jenkins 中流水线任务的“配置”中,流水线选择 SCM 方式,SCM 选择 Git,然后再将刚才复制的 GitLab 仓库地址粘贴到这里。
这里可以看到,文件名默认为 Jenkinsfile。当然,可以更换。应用保存。
(4) 重新构建
重新立即构建后会发现,除了这些阶段名称更新为了修改过的外,还新增了一个新的阶段 Checkout SCM。即从 SCM 中检出脚本。
25.4 流水线管理 hellojks
(1) 更新 Jenkinsfile
现要将之前的 hellojks 项目通过流水线方式进行构建管理。所以,首先需要修改 Idea 中的 Jenkinsfile 文件内容,然后再提交到 GitLab。
Jenkinsfile 文件具体内容如下:
pipeline { agent any stages { stage('从 GitLab 拉取代码') { steps { echo '从 GitLab 拉取代码,成功' } } stage('将项目打为 jar 包') { steps { echo '将项目打为 jar 包,成功' } } stage('代码质量检测') { steps { echo '代码质量检测,成功' } } stage('构建并推送镜像到 Harbor') { steps { echo '构建并推送镜像到 Harbor,成功' } } stage('通知目标服务器') { steps { echo '通知目标服务器,成功' } } } }
(2) 重新构建
在 Jenkins 中对 hello_pipeline 任务重新构建。
25.5 从 GitLab 拉取代码
(1) 定义 Git 参数
在 Jenkins 中的 pipeline 任务中定义一个 Git 参数,该参数仍为发布的 tag。
(2) 流水线语法
在 pipeline 脚本文件中如何定义具体的命令语句来实现“从 GitLab 位取代码”“将项目打为 jar 包”等任务?pipeline 脚本文件是具有其特殊的语法的。不过,通过当前 pipeline 任务中的流水线语法,可自动生成符合 pipeline 脚本语法的脚本语句。
(3) 生成脚本命令
下面要通过流水线语法生成“从 GitLab 拉取代码”的语句。
首先从 GitLab 的项目中复制项目地址。
然后在 Jenkins 的流水线语法中选择“checkout:Check out from version control”,并将复制来的 GitLab 的项目地址粘贴到 Repository URL 中。
点击“生成流水线脚本”,便可以下面的文本框中自动生成相应脚本语句。
从gitlab拉取代码生成流水线脚本
checkout scmGit(branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.162.121:9999/root/hellojenkins.git']])
(4) 更新 Jenkinsfile
复制生成的流水线脚本,并将其写入到 Idea 中的 Jenkinsfile 的相应 stage{}中,并提交到GitLab。
(5) 重新构建
对任务进行重新构建,发现可以对构建的版本进行选择了。
构建成功后便可看到,在阶段视图中新增了一层的构建过程。在最上层的“从 GitLab拉取代码”阶段点击 Logs,便可看到拉取的日志。
25.6 将项目打为 jar 包
(1) 生成脚本命令
在 Jenkins 中通过流水线脚本语法生成“将项目打为 jar 包”的脚本语句。
将项目打包为jar包生成的流水线脚本
sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
(2) 更新 Jenkinsfile
复制生成的流水线脚本,并将其写入到 Idea 的 Jenkinsfile 的相应 stage{}中,提交。
(3) 重新构建
对任务进行重新构建,然后便可在最上层的“将项目打为 jar 包”阶段中点击 Logs,便可看到 maven 构建的日志。
25.7 代码质量检测
(1) 生成脚本命令
在 Jenkins 中通过流水线脚本语法生成“代码质量检测”的脚本语句。
sonarqube代码质量检测生成的流水线脚本
sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.login=admin -Dsonar.password=xxxxxxxx -Dsonar.projectKey=${JOB_NAME}'
(2) 更新 Jenkinsfile
复制生成的流水线脚本,并将其写入到 Idea 的 Jenkinsfile 的相应 stage{}中,提交。
(3) 重新构建
对任务进行重新立构建,然后便可在最上层的“通过 SonarQube 进行代码检测”阶段中点击 Logs,便可看到 SonarQube 代码检测的日志。
然后在 SonarQube 管理页面中就可看到新增加了一个 hello_pipeline 的项目了。
25.8 构建镜像并推送到 Harbor
(1) Jenkinsfile 中定义环境变量
在Idea中的Jenkinsfile文件中添加环境变量,这些变量将在后面生成的脚本命令中使用。
Jenkinsfile 中定义环境变量
environment { harbor_user='admin' harbor_password='xxxxxx' harbor_host='192.168.162.124' harbor_repository='jks' }
(2) 生成脚本命令
在 Jenkins 中通过流水线脚本语法生成“推送镜像到 Harbor”的脚本语句。脚本语句中使用的是 Jenkinsfile 中定义的环境变量。
(3) 更新 Jenkinsfile
复制生成的流水线脚本,并将其写入到 Idea 的 Jenkinsfile 的相应 stage{}中,提交。
使用docker构建镜像并推送到harbor镜像中心流水线脚本
sh '''mv ./target/*.jar ./docker/ docker build -t ${JOB_NAME}:${ptag} ./docker docker login -u ${harbor_user} -p ${harbor_password} ${harbor_host} docker tag ${JOB_NAME}:${ptag} ${harbor_host}/${harbor_repository}/${JOB_NAME}:${ptag} docker push ${harbor_host}/${harbor_repository}/${JOB_NAME}:${ptag} docker image prune -f'''
(4) 重新构建
对任务进行重新立构建,然后便可在最上层的“构建镜像并推送到 Harbor”阶段中点击 Logs,便可看到推送镜像到 Harbor 的日志。
此时在 Jenkins 中就可看到出现了 hello_pipeline 的镜像。
此时查看 harbor 的管理页面,可以看到在 jks 项目中新增加了 hello_pipeline 的仓库,且仓库中具有 v1.0.0 的镜像。
25.9 通知目标服务器执行 deploy 脚本
(1) 添加端口号参数
为了使用户可以随时指定容器对外暴露的参数,这里在 Jenkins 当前任务下的“配置”
中“参数化构建过程”中添加一个字符参数。
(2) 生成脚本命令
在 Jenkins 中通过流水线脚本语法生成“通知目标服务器执行 deploy 脚本”的脚本语句。选择sshPublisher:Send build artifacts over SSH,并从中找到目标服务器。
然后在下面的 Exec command 中键入要执行的命令,生成流水线脚本。
通知目标服务器的流水线脚本
sshPublisher(publishers: [sshPublisherDesc(configName: 'mytarget-server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.h $harbor_host $harbor_respository $JOB_NAME $ptag 8080 $exportport", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
(3) 更新 Jenkinsfile
复制生成的流水线脚本,并将其写入到 Idea 的 Jenkinsfile 的相应 stage{}中,提交。
原本生成的脚本中的 deploy.sh 命令是使用单引号括起来的,需要将这里的单引号更改为双引号。否则这些变量无法完成引用。
(4) 重新构建
对任务进行重新构建,然后便可在最上层的“通知目标服务器”阶段中点击 Logs,便可看到推送镜像到 Harbor 的日志。
查看目标服务器中的镜像,发现相应镜像已经从 harbor 上拉取了下来。
查看正在运行的容器,发现应用已经启动。
完整Jenkinsfile流水线脚本:
pipeline { agent any environment { harbor_user='admin' harbor_password='bgp3617306heHU' harbor_host='192.168.162.124' harbor_repository='jks' } stages { stage('从gitlab拉取代码') { steps { checkout scmGit(branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.162.121:9999/root/hellojenkins.git']]) } } stage('将项目打为jar包') { steps { sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests' } } stage('使用sonarqube进行代码质量检测') { steps { sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.login=admin -Dsonar.password=bgp3617306heHU -Dsonar.projectKey=${JOB_NAME}' } } stage('使用docker构建镜像并推送到harbor镜像中心') { steps { sh '''mv ./target/*.jar ./docker/ docker build -t ${JOB_NAME}:${ptag} ./docker docker login -u ${harbor_user} -p ${harbor_password} ${harbor_host} docker tag ${JOB_NAME}:${ptag} ${harbor_host}/${harbor_repository}/${JOB_NAME}:${ptag} docker push ${harbor_host}/${harbor_repository}/${JOB_NAME}:${ptag} docker image prune -f''' } } stage('通知目标服务器执行脚本') { steps { sshPublisher(publishers: [sshPublisherDesc(configName: 'mytarget-server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.h $harbor_host $harbor_respository $JOB_NAME $ptag 8080 $exportport", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)]) } } } }
到此,通过 pipeline 进行项目构建已经全部完成。现在可以在浏览器上访问应用了。
26、添加钉钉提醒
这里要为流水线管理方式添加钉钉提醒功能。
26.1 钉钉端操作
(1) 创建项目群
首先需要在钉钉中创建一个项目群。
(2) 添加机器人
在项目群中添加一个自定义机器人,让该机器人进行项目构建提醒。
复制该 Webhook,后面在 Jenkins 配置时需要使用。
添加完毕后,就可看到机器人在群里发布的加入消息。
26.2 Jenkins 系统配置
(1) 插件下载
在 Jenkins 中下载 DingTalk 插件。
(2) Jenkins 配置
在 Jenkins 的系统管理中可找到“钉钉”,这是安装过 DingTalk 后出现的。
(3) 项目配置
打开项目的“配置”,在 General 中可以看到前面配置的钉钉机器人,点击该机器人的“高级”。
26.3 重新构建
(1) 构建成功
对任务进行重新构建。
构建结束后,钉钉的项目群中会看到机器人发出的消息。
(2) 构建失败
随便将脚本中的某数据修改错,然后提交到 GitLab。
重新构建后会出错。
同时也会在钉钉项目群中看到机器人发出的消息。