Docker Swarm总结+Jenkins安装配置与集成(5/5)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Docker Swarm总结+Jenkins安装配置与集成(5/5)

博主介绍:Java领域优质创作者,博客之星城市赛道TOP20专注于前端流行技术框架、Java后端技术领域、项目实战运维以及GIS地理信息领域。

🍅文末获取源码下载地址🍅

👇🏻 精彩专栏推荐订阅👇🏻 欢迎点赞收藏评论拍砖........

【Docker Swarm总结】《容器技术 Docker+K8S专栏》

【uniapp+uinicloud多用户社区博客实战项目】《完整开发文档-从零到完整项目》

【Springcloud Alibaba微服务分布式架构 | Spring Cloud】《系列教程-更新完毕》

【SpringSecurity-从入门到精通】《学习完整笔记-附(完整demo源码)》

【从零开始Vue项目中使用MapboxGL开发三维地图教程】《系列教程-不定时更新》

【Vue.js学习详细课程系列】《共32节专栏收录内容》

感兴趣的可以先收藏起来相关问题都可以给我留言咨询,希望帮助更多的人。



23、自由风格的 CI 操作(最终架构)

前面的架构存在的问题是,若有多个目标服务器都需要使用该镜像,那么每个目标服务

器都需要在本地构建镜像,形成系统资源浪费。若能够在 Jenkins 中将镜像相撞构建好并推

送到 Harbor 镜像中心,那么无论有多少目标服务器需要该镜像,都只需要从 Harbor 拉取即

可。

23.1 Jenkins 容器化实现

(1) Jenkins 容器化实现方案

有两种方案:

  • DioD:要容器内部安装 Docker 引擎(不常用)
  • DooD:与宿主机共享 Docker 引擎(常用)

(2) 修改 docker.sock 权限

/var/run/docker.sock 文件是 docker client 和 docker daemon 在本地进行通信的 socket

文件。默认的组为 docker,且 other 用户不具有读写权限,这样 Jenkins 是无法来操作该文

件的。

所以这里需要将其组调整为 root,且为其分配读写权限。(这个跟docker容器相关的,容器关闭后需要重新授权一下)

chown root:root docker.sock
 
chmod o+rw docker.sock

此时再查看便可看到组与权限已经发生了变化。

(3) 修改 Jenkins 启动命令后重启

首先强制删除正在运行的 Jenkins 容器。

docker rm -f jenkins

然后在 Jenkins 启动命令中新增/var/run/docker.sock,docker 命令文件/usr/bin/docker,及/etc/docker/daemon.json 文件为数据卷。重启 Jenkins 容器。

docker run --name jenkins \
--restart always \
-p 8080:8080 \
-p 50000:50000 \
-v /var/jenkins_home:/var/jenkins_home \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /usr/bin/docker:/usr/bin/docker \
-v /etc/docker/daemon.json:/etc/docker/daemon.json \
-d jenkins/jenkins:2.387.1-lts

测试docker是否运行正常:

## 进入docker容器
docker exec -it jenkins bash
 
## 查看docker信息
docker info

23.2 构建并推送镜像到 Harbor

这里要实现 Jenkins 将来自 GitLab 的 jar 包构建为镜像,并推送到 Harbor。

(1) 修改 daemon.json 文件

Jenkins 是 Harbor 的客户端,需要修改/etc/docker/daemon.json 文件。修改后重启 Docker。

"insecure-registries":["192.168.162.124"]

(2) Jenkins 删除构建后操作

原来的 Jenkins 中配置的“构建后操作”完成的是将代码推送到目标服务器后,让目标服务器通过 docker compose 完成镜像的构建与启动。但现在不需要了,因为镜像构建任务要由 Jenkins 自己完成了。在 Jenkins 当前任务下的“配置”中删除。

(3) Jenkins 添加 shell 命令

在 sonarqube 对代码质量检测完毕后,再添加一个“构建步骤”。这个构建步骤通过 shell命令方式完成。

mv target/*.jar docker/
docker build -t hellojks docker/
docker login -u admin -p 11111111 192.168.192.110
docker tag hellojks 192.168.192.118/jks/hellojks
docker image prune -f
docker push 192.168.192.110/jks/hellojks

(4) 重新构建

Jenkins 中在返回的任务首页中,再次执行立即构建。构建成功后,在 Jenkins 主机中可以查看到构建好的镜像与重 tag 过的镜像。

在 harbor 的仓库中也可以看到推送来的镜像。

23.3 通知目标服务器

(1) 修改 daemon.json 文件

目标服务器是 Harbor 的客户端,需要修改/etc/docker/daemon.json 文件。修改后重启

Docker。

(2) 定义脚本文件

在目标服务器 PATH 路径下的任意目录中定义一个脚本文件 deploy.sh。例如,定义在/usr/local/bin 目录下。然后再为其赋予可执行权限。这样该 deploy 命令就可以在任意目录下运行了。

文件内容如下:

(3) Jenkins 添加端口号参数

为了使用户可以随时指定容器对外暴露的参数,这里在 Jenkins 当前任务下的“配置”中“参数化构建过程”中添加一个字符参数。

(4) Jenkins 添加构建后操作

还是在 Jenkins 当前任务下的“配置”中,为任务添加构建后操作。

(5) 重新构建工程

这次重新构建,可以看到出现了 export_port 的文本框。在这里可以修改容器对外暴露的端口号。

构建成功后可以看到,目标服务器中增加了新的镜像,该镜像是从 harbor 拉取的。

还可以看到,该镜像的容器也已经启动。

通过浏览器访问目标服务器的应用,是没有问题的。

24、自由风格的 CD 操作

现在要为 GitLab 中当前的项目主干分支 origin/master 上的代码打上一个 Tag,例如 v1.0.0。

然后修改代码后仍提交到 GitLab 的主干分支 origin/master 上,此时再给项目打上一个 Tag,

例如 v2.0.0。这样, hellojenkins 项目的主干分支 origin/master 上就打上了两个 Tag。

而 Jenkins 可以根据主干分支 origin/master 上代码的不同 Tag 对项目进行分别构建。实

现项目的持续交付与持续部署。

24.1 发布 V1.0.0 版本

(1) 修改代码并推送

简单修改一个 Controller 中方法的返回值。修改代码后,将其推送到 GitLab。

(2) GitLab 中项目打 Tag

24.2 发布 V2.0.0 版本

(1) 修改代码

简单修改一个 Controller 中方法的返回值。将修改后的项目源码提交到 GitLab。

(2) GitLab 中再打 Tag

在 GitLab 中再次为刚提交到主干分支 origin/master 上的代码再打上一个新的 Tag。

此时可以看到,当前项目具有了两个 Tag。

24.3 Jenkins 配置 tag 参数

由于 GitLab 中的项目具有 tag 标签,那么 Jenkins 在进行项目构建时就需要让用户选择

准备构建哪个 tag 的项目。所以,需要在 Jenkins 中配置一个 Git 参数 tag 作为用户选项。

(1) 添加 Git 参数

这里选择的 Git 参数,即为前面下载的 Git Parameter 插件。

(2) 添加 checkout 命令

然后当前页面继续下拉,找到 Build Steps。

(3) 修改构建命令配置

然后当前页面继续下拉,找到 Build Steps 中原来添加的构建命令。在所有涉及镜像的命

令中添加上$hjtag 变量引用。然后应用保存。

(4) 修改 SSH 配置

然后当前页面继续下拉,找到“构建后操作”中的 Send build artifacts over SSH 中的 Exec

command,将原来写死的版本 latest 修改为$hjtag。

24.4 部署 v1.0.0

(1) 重新构建工程

任务首页中再次点击 Build with Parameters 构建项目,发现增加了 hjtag 选项。这里选择v1.0.0 进行构建。

(2) 构建结果

构建成功后,在 Jenkins 中可以看到增加了新的镜像。

Harbor 中新增了 v1.0.0 的镜像。

在目标服务器上新增了 v1.0.0 的镜像,且该容器也运行了起来

在浏览器上访问到的页面内容也是 v1.0.0 的内容了。

24.5 部署 v2.0.0

此时再选择 v2.0.0 进行构建。

构建成功后,在浏览器刷新即可看到 v2.0.0 版本的内容了。

25、流水线任务

25.1 流水线简介

流水线是 Jenkins 对项目构建过程的一种管理方式。其将项目的构建过程按照构建阶段进行非常清晰的划分显示。用户可以通过可视化操作方式来轻松查看、管理构建过程中的各个阶段。

25.2 Hello World

(1) 新建流水线任务

(2) Hello World 项目创建与构建

pipeline {
    agent any
 
    stages {
        stage('Hello') {
            steps {
                echo 'Hello World'
            }
        }
    }
}

点击立即构建后,就会看到“阶段视图”。

将鼠标放到各个阶段上会显示出 logs,点击 logs 可看到相关的日志。

(3) 修改项目脚本

为了更好的理解脚本,这里对 hello workd 项目的脚本进行修改。

pipeline {
    agent any
 
    stages {
        stage('构建阶段1') {
            steps {
                echo '构建阶段1--构建成功'
            }
        }
        stage('构建阶段2') {
            steps {
                echo '构建阶段2--构建成功'
            }
        }
        stage('构建阶段3') {
            steps {
                echo '构建阶段3--构建成功'
            }
        }
    }
}

(4) 再次构建

应用保存后,再次立即构建。阶段视图发生较大变化。每个阶段上均可看到相应的日志。

25.3 SCM 方式维护脚本

Jenkins 流水线任务提供了两种维护脚本的方式。本地方式与 SCM 方式。在 Jenkins 中维护的方式称为本地方式。

(1) 代码中追加 Jenkinsfile

每个要构建的项目采用 piple 方式进行构建管理,要求必须要有一个构建脚本,而采用SCM 脚本维护方式时,默认该脚本文件名为 Jenkinsfile。

对于本例,在 Idea 中的项目根目录下追加一个名为 Jenkinsfile 的文件。然后再将原来的脚本内容复制到该文件中。为了显示区别,这里对脚本内容进行了简单修改。

Jenkinsfile:

pipeline {
    agent any
 
    stages {
        stage('构建阶段111') {
            steps {
                echo '构建阶段111--构建成功'
            }
        }
        stage('构建阶段222') {
            steps {
                echo '构建阶段222--构建成功'
            }
        }
        stage('构建阶段333') {
            steps {
                echo '构建阶段333--构建成功'
            }
        }
    }
}

(2) 提交修改到 GitLab

将项目的修改追加到 GitLab 中。

然后在 GitLab 的项目首页中就可看到多了一个 Jenkinsfile 文件。然后再复制该项目的http 地址。

(3) Jenkins 配置

在 Jenkins 中流水线任务的“配置”中,流水线选择 SCM 方式,SCM 选择 Git,然后再将刚才复制的 GitLab 仓库地址粘贴到这里。

这里可以看到,文件名默认为 Jenkinsfile。当然,可以更换。应用保存。

(4) 重新构建

重新立即构建后会发现,除了这些阶段名称更新为了修改过的外,还新增了一个新的阶段 Checkout SCM。即从 SCM 中检出脚本。

25.4 流水线管理 hellojks

(1) 更新 Jenkinsfile

现要将之前的 hellojks 项目通过流水线方式进行构建管理。所以,首先需要修改 Idea 中的 Jenkinsfile 文件内容,然后再提交到 GitLab。

Jenkinsfile 文件具体内容如下:

 

pipeline {
 agent any
 stages {
     stage('从 GitLab 拉取代码') {
         steps {
             echo '从 GitLab 拉取代码,成功'
         }
     }
     stage('将项目打为 jar 包') {
         steps {
             echo '将项目打为 jar 包,成功'
         }
     }
     stage('代码质量检测') {
         steps {
             echo '代码质量检测,成功'
         }
     }
     stage('构建并推送镜像到 Harbor') {
         steps {
             echo '构建并推送镜像到 Harbor,成功'
         }
     }
     stage('通知目标服务器') {
         steps {
             echo '通知目标服务器,成功'
         }
     }
 }
}

(2) 重新构建

在 Jenkins 中对 hello_pipeline 任务重新构建。

25.5 从 GitLab 拉取代码

(1) 定义 Git 参数

在 Jenkins 中的 pipeline 任务中定义一个 Git 参数,该参数仍为发布的 tag。

(2) 流水线语法

在 pipeline 脚本文件中如何定义具体的命令语句来实现“从 GitLab 位取代码”“将项目打为 jar 包”等任务?pipeline 脚本文件是具有其特殊的语法的。不过,通过当前 pipeline 任务中的流水线语法,可自动生成符合 pipeline 脚本语法的脚本语句。

(3) 生成脚本命令

下面要通过流水线语法生成“从 GitLab 拉取代码”的语句。

首先从 GitLab 的项目中复制项目地址。

然后在 Jenkins 的流水线语法中选择“checkout:Check out from version control”,并将复制来的 GitLab 的项目地址粘贴到 Repository URL 中。

点击“生成流水线脚本”,便可以下面的文本框中自动生成相应脚本语句。

从gitlab拉取代码生成流水线脚本

checkout scmGit(branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.162.121:9999/root/hellojenkins.git']])

(4) 更新 Jenkinsfile

复制生成的流水线脚本,并将其写入到 Idea 中的 Jenkinsfile 的相应 stage{}中,并提交到GitLab。

(5) 重新构建

对任务进行重新构建,发现可以对构建的版本进行选择了。

构建成功后便可看到,在阶段视图中新增了一层的构建过程。在最上层的“从 GitLab拉取代码”阶段点击 Logs,便可看到拉取的日志。

25.6 将项目打为 jar 包

(1) 生成脚本命令

在 Jenkins 中通过流水线脚本语法生成“将项目打为 jar 包”的脚本语句。

将项目打包为jar包生成的流水线脚本

sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'

(2) 更新 Jenkinsfile

复制生成的流水线脚本,并将其写入到 Idea 的 Jenkinsfile 的相应 stage{}中,提交。

(3) 重新构建

对任务进行重新构建,然后便可在最上层的“将项目打为 jar 包”阶段中点击 Logs,便可看到 maven 构建的日志。

25.7 代码质量检测

(1) 生成脚本命令

在 Jenkins 中通过流水线脚本语法生成“代码质量检测”的脚本语句。

sonarqube代码质量检测生成的流水线脚本

sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.login=admin -Dsonar.password=xxxxxxxx -Dsonar.projectKey=${JOB_NAME}'

(2) 更新 Jenkinsfile

复制生成的流水线脚本,并将其写入到 Idea 的 Jenkinsfile 的相应 stage{}中,提交。

(3) 重新构建

对任务进行重新立构建,然后便可在最上层的“通过 SonarQube 进行代码检测”阶段中点击 Logs,便可看到 SonarQube 代码检测的日志。

然后在 SonarQube 管理页面中就可看到新增加了一个 hello_pipeline 的项目了。

25.8 构建镜像并推送到 Harbor

(1) Jenkinsfile 中定义环境变量

在Idea中的Jenkinsfile文件中添加环境变量,这些变量将在后面生成的脚本命令中使用。

Jenkinsfile 中定义环境变量

    environment {
      harbor_user='admin'
      harbor_password='xxxxxx'
      harbor_host='192.168.162.124'
      harbor_repository='jks'
    }

(2) 生成脚本命令

在 Jenkins 中通过流水线脚本语法生成“推送镜像到 Harbor”的脚本语句。脚本语句中使用的是 Jenkinsfile 中定义的环境变量。

(3) 更新 Jenkinsfile

复制生成的流水线脚本,并将其写入到 Idea 的 Jenkinsfile 的相应 stage{}中,提交。

使用docker构建镜像并推送到harbor镜像中心流水线脚本

sh '''mv ./target/*.jar ./docker/
docker build -t ${JOB_NAME}:${ptag} ./docker
docker login -u ${harbor_user} -p ${harbor_password} ${harbor_host}
docker tag ${JOB_NAME}:${ptag} ${harbor_host}/${harbor_repository}/${JOB_NAME}:${ptag}
docker push ${harbor_host}/${harbor_repository}/${JOB_NAME}:${ptag}
docker image prune -f'''

(4) 重新构建

对任务进行重新立构建,然后便可在最上层的“构建镜像并推送到 Harbor”阶段中点击 Logs,便可看到推送镜像到 Harbor 的日志。

此时在 Jenkins 中就可看到出现了 hello_pipeline 的镜像。

此时查看 harbor 的管理页面,可以看到在 jks 项目中新增加了 hello_pipeline 的仓库,且仓库中具有 v1.0.0 的镜像。

25.9 通知目标服务器执行 deploy 脚本

(1) 添加端口号参数

为了使用户可以随时指定容器对外暴露的参数,这里在 Jenkins 当前任务下的“配置”

中“参数化构建过程”中添加一个字符参数。

(2) 生成脚本命令

在 Jenkins 中通过流水线脚本语法生成“通知目标服务器执行 deploy 脚本”的脚本语句。选择sshPublisher:Send build artifacts over SSH,并从中找到目标服务器。

然后在下面的 Exec command 中键入要执行的命令,生成流水线脚本。

通知目标服务器的流水线脚本

sshPublisher(publishers: [sshPublisherDesc(configName: 'mytarget-server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.h $harbor_host $harbor_respository $JOB_NAME $ptag 8080 $exportport", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

(3) 更新 Jenkinsfile

复制生成的流水线脚本,并将其写入到 Idea 的 Jenkinsfile 的相应 stage{}中,提交。

原本生成的脚本中的 deploy.sh 命令是使用单引号括起来的,需要将这里的单引号更改为双引号。否则这些变量无法完成引用。

(4) 重新构建

对任务进行重新构建,然后便可在最上层的“通知目标服务器”阶段中点击 Logs,便可看到推送镜像到 Harbor 的日志。

查看目标服务器中的镜像,发现相应镜像已经从 harbor 上拉取了下来。

查看正在运行的容器,发现应用已经启动。

完整Jenkinsfile流水线脚本:

pipeline {
    agent any
  
    environment {
      harbor_user='admin'
      harbor_password='bgp3617306heHU'
      harbor_host='192.168.162.124'
      harbor_repository='jks'
    }
 
    stages {
        stage('从gitlab拉取代码') {
            steps {
                checkout scmGit(branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.162.121:9999/root/hellojenkins.git']])
            }
        }
        stage('将项目打为jar包') {
            steps {
                sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
            }
        }
        stage('使用sonarqube进行代码质量检测') {
            steps {
                sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.login=admin -Dsonar.password=bgp3617306heHU -Dsonar.projectKey=${JOB_NAME}'
            }
        }
        stage('使用docker构建镜像并推送到harbor镜像中心') {
            steps {
                sh '''mv ./target/*.jar ./docker/
                      docker build -t ${JOB_NAME}:${ptag} ./docker
                      docker login -u ${harbor_user} -p ${harbor_password} ${harbor_host}
                      docker tag ${JOB_NAME}:${ptag} ${harbor_host}/${harbor_repository}/${JOB_NAME}:${ptag}
                      docker push ${harbor_host}/${harbor_repository}/${JOB_NAME}:${ptag}
                      docker image prune -f'''
            }
        }
        stage('通知目标服务器执行脚本') {
            steps {
                sshPublisher(publishers: [sshPublisherDesc(configName: 'mytarget-server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.h $harbor_host $harbor_respository $JOB_NAME $ptag 8080 $exportport", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
            }
        }
    }
}

到此,通过 pipeline 进行项目构建已经全部完成。现在可以在浏览器上访问应用了。

26、添加钉钉提醒

这里要为流水线管理方式添加钉钉提醒功能。

26.1 钉钉端操作

(1) 创建项目群

首先需要在钉钉中创建一个项目群。

(2) 添加机器人

在项目群中添加一个自定义机器人,让该机器人进行项目构建提醒。

复制该 Webhook,后面在 Jenkins 配置时需要使用。

添加完毕后,就可看到机器人在群里发布的加入消息。

26.2 Jenkins 系统配置

(1) 插件下载

在 Jenkins 中下载 DingTalk 插件。

(2) Jenkins 配置

在 Jenkins 的系统管理中可找到“钉钉”,这是安装过 DingTalk 后出现的。

(3) 项目配置

打开项目的“配置”,在 General 中可以看到前面配置的钉钉机器人,点击该机器人的“高级”。

26.3 重新构建

(1) 构建成功

对任务进行重新构建。

构建结束后,钉钉的项目群中会看到机器人发出的消息。

(2) 构建失败

随便将脚本中的某数据修改错,然后提交到 GitLab。

重新构建后会出错。

同时也会在钉钉项目群中看到机器人发出的消息。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
15天前
|
jenkins Devops Java
DevOps实践:Jenkins在持续集成与持续部署中的价值
【10月更文挑战第27天】在快速发展的软件开发领域,DevOps实践日益重要。Jenkins作为一款流行的开源自动化服务器,在持续集成(CI)和持续部署(CD)中扮演关键角色。本文通过案例分析,探讨Jenkins在Java项目中的应用,展示其自动化构建、测试和部署的能力,提高开发效率和软件质量。
39 2
|
3天前
|
运维 jenkins Java
Jenkins在持续集成与持续部署中的价值
Jenkins在持续集成与持续部署中的价值
|
5天前
|
应用服务中间件 nginx Docker
Docker Swarm、Docker Stack和Portainer的使用
Docker Swarm、Docker Stack 和 Portainer 各有其独特的功能和优势。Docker Swarm 适用于分布式服务的管理和编排,Docker Stack 便于多容器应用的定义和部署,而 Portainer 提供了直观的 UI,简化了 Docker 环境的管理。结合使用这些工具,可以大大提高容器化应用的部署和管理效率。希望本文对您理解和应用这些工具有所帮助。
15 5
|
16天前
|
jenkins Devops 测试技术
DevOps实践:Jenkins在持续集成与持续部署中的价值
【10月更文挑战第26天】随着DevOps理念的普及,Jenkins作为一款开源自动化服务器,在持续集成(CI)与持续部署(CD)中发挥重要作用。本文通过某中型互联网企业的实际案例,展示了Jenkins如何通过自动化构建、持续集成和持续部署,显著提升开发效率、代码质量和软件交付速度,帮助企业解决传统手工操作带来的低效和错误问题。
44 4
|
21天前
|
负载均衡 应用服务中间件 网络安全
docker swarm添加更多的服务
【10月更文挑战第16天】
18 6
|
21天前
|
Docker 容器
docker swarm启动服务并连接到网络
【10月更文挑战第16天】
20 5
|
21天前
|
调度 Docker 容器
docker swarm创建覆盖网络
【10月更文挑战第16天】
14 5
|
22天前
|
负载均衡 网络协议 关系型数据库
docker swarm 使用网络启动服务
【10月更文挑战第15天】
19 4
|
22天前
|
数据安全/隐私保护 Docker 容器
docker swarm创建网络
【10月更文挑战第15天】
10 1
|
7天前
|
API Docker 容器
【赵渝强老师】构建Docker Swarm集群
本文介绍了如何使用三台虚拟主机构建Docker Swarm集群。首先在master节点上初始化集群,然后通过特定命令将node1和node2作为worker节点加入集群。最后,在master节点上查看集群的节点信息,确认集群构建成功。文中还提供了相关图片和视频教程,帮助读者更好地理解和操作。