基于Jenkins和k8s构建企业级DevOps容器云平台-阿里云开发者社区

1.1 什么是DevOps？

DevOps中的Dev是Devlopment（开发），Ops是Operation（运维），用一句话来说 DevOps 就是打通开发运维的壁垒，实现开发运维一体化。DevOps整个流程包括敏捷开发->持续集成->持续交付->持续部署。

1.1.1 敏捷开发

提高开发效率，及时跟进用户需求，缩短开发周期。

敏捷开发包括编写代码和构建代码两个阶段，可以使用git或者svn来管理代码，用maven对代码进行构建

1.1.2 持续集成（CI）

持续集成强调开发人员提交了新代码之后，立刻自动的进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。持续集成过程中很重视自动化测试验证结果，对可能出现的一些问题进行预警，以保障最终合并的代码没有问题。

常见的持续集成工具：

1. Jenkins

Jenkins是用Java语言编写的，是目前使用最多和最受欢迎的持续集成工具，使用Jenkins，可以自动监测到git或者svn存储库代码的更新，基于最新的代码进行构建，把构建好的源码或者镜像发布到生产环境。Jenkins还有个非常好的功能：它可以在多台机器上进行分布式地构建和负载测试

2. TeamCity

3. Travis CI

4. GoCD

5. Bamboo

6. GitLab CI

7. Codeship

它的好处主要有以下几点：

1）较早的发现错误：每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，哪个环节出现问题都可以较早的发现。

2）快速的发现错误：每完成一部分代码的更新，就会把代码集成到主干中，这样就可以快速的发现错误，比较容易的定位错误。

3）提升团队绩效：持续集成中代码更新速度快，能及时发现小问题并进行修改，使团队能创造出更好的产品。

4）防止分支过多的偏离主干：经常持续集成，会使分支代码经常向主干更新，当单元测试失败或者出现bug，如果开发者需要在没有调试的情况下恢复仓库的代码到没有bug的状态，只有很小部分的代码会丢失。

持续集成的目的是提高代码质量，让产品快速的更新迭代。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。

Martin Fowler说过，"持续集成并不能消除Bug，而是让它们非常容易发现和改正。"

互动：Martin Fowler是谁？

马丁·福勒

马丁·福勒是一个软件开发方面的著作者和国际知名演说家，专注于面向对象分析与设计，统一建模语言，领域建模，以及敏捷软件开发方法，包括极限编程。

与持续集成相关的还有持续交付和持续部署。

1.1.3 持续交付

持续交付在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境的「类生产环境」（production-like environments）中。交付给质量团队或者用户，以供评审。如果评审通过，代码就进入生产阶段。如果所有的代码完成之后一起交付，会导致很多问题爆发出来，解决起来很麻烦，所以持续集成，也就是每更新一次代码，都向下交付一次，这样可以及时发现问题，及时解决，防止问题大量堆积。

1.1.4 持续部署

持续部署是指当交付的代码通过评审之后，自动部署到生产环境中。持续部署是持续交付的最高阶段。Puppet，SaltStack和Ansible是这个阶段使用的流行工具。容器化工具在部署阶段也发挥着重要作用。Docker和k8s是流行的工具，有助于在开发，测试和生产环境中实现一致性。除此之外，k8s还可以实现自动扩容缩容等功能。

1.2 k8s在DevOps中可实现的功能

1.2.1 自动化

敏捷开发->持续集成->持续交付->持续部署。

1.2.2 多集群管理

可以根据客户需求对开发，测试，生产环境部署多套kubernetes集群，每个环境使用独立的物理资源，相互之间避免影响。

1.2.3 多环境一致性

Kubernetes是基于docker的容器编排工具，因为容器的镜像是不可变的，所以镜像把OS、业务代码、运行环境、程序库、目录结构都包含在内，镜像保存在我们的私有仓库，只要用户从我们提供的私有仓库拉取镜像，就能保证环境的一致性。

1.2.4 实时反馈和智能化报表

每次集成或交付，都会第一时间将结果通过多途径的方式反馈给你，也可以定制适合企业专用的报表平台。

1.3 Jenkins+K8S+harbor+git+sonarqube+nexus构建DevOps容器云平台流程

Jenkins是开源的CI&CD工具，提供超过1000个插件来支持构建、部署、自动化，满足任何项目的需要。完整的DevOps流程：

开发提交代码到代码仓库gitlab-àjenkins检测到代码更新-à调用k8s api在k8s中创建jenkins slave pod：

d拉取代码---à通过maven把拉取的代码进行构建成war包或者jar包--->上传代码到Sonarqube，进行静态代码扫描- -->基于war包构建docker image-->把镜像上传到harbor镜像仓库-->基于镜像部署应用到开发环境-->部署应用到测试环境--->部署应用到生产环境。

实战1：基于Jenkins+k8s+Git等技术链构建企业级DevOps自动化容器云平台
1、安装Jenkins
可用如下两种方法
1）通过docker直接下载jenkins镜像，基于镜像启动服务
2）在k8s中部署Jenkins服务
2、安装nfs服务
#选择自己的任意一台机器，我选择k8s的控制节点master1
1）、在master1上安装nfs，作为服务端
[root@master1 ~]# yum install nfs-utils -y
[root@master1 ~]# systemctl start nfs
[root@master1 ~]# systemctl enable nfs
2）、在node2和node1上安装nfs，作为客户端
yum install nfs-utils -y
systemctl start nfs
systemctl enable nfs
3）、在master1上创建一个nfs共享目录
[root@master1 ~]# mkdir /data/v1  -p
[root@master1 ~]# cat /etc/exports
/data/v1       192.168.40.0/24(rw,no_root_squash)
#使配置文件生效
[root@master1 ~]# exportfs -arv  
[root@master1 ~]# systemctl restart nfs 
3、在kubernetes中部署jenkins
（1）创建名称空间
[root@master1 ~]# kubectl create namespace jenkins-k8s
（2）创建pv
[root@master1 ~]# cat pv.yaml 
#跟新资源清单文件
[root@master1 ~]# kubectl apply -f pv.yaml
（3）创建pvc
[root@master1 ~]# cat pvc.yaml 
#更新资源清单文件
[root@master1 ~]# kubectl apply -f pvc.yaml
#查看pvc和pv绑定是否成功
[root@master1 ~]# kubectl get pvc -n jenkins-k8s
NAME      STATUS   VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS 
jenkins-k8s-pvc   Bound    jenkins-k8s-pv   10Gi       RWX                           
（4）创建一个sa账号
[root@master1 ~]# kubectl create sa jenkins-k8s-sa -n jenkins-k8s
（5）把上面的sa账号做rbac授权
[root@master1 ~]# kubectl create clusterrolebinding jenkins-k8s-sa-cluster -n jenkins-k8s  --clusterrole=cluster-admin --serviceaccount=jenkins-k8s:jenkins-k8s-sa
（6）通过deployment部署jenkins
注：下面实验用到的镜像是jenkins.tar.gz和jenkins-jnlp.tar.gz，把这两个压缩包上传到k8s的node1和node2节点，用如下方法手动解压：
docker load -i jenkins.tar.gz
docker load -i jenkins-jnlp.tar.gz
[root@master1 ~]# cat jenkins-deployment.yaml 
#更新资源清单文件
kubectl apply -f jenkins-deployment.yaml
[root@master1 ~]# kubectl get pods -n jenkins-k8s
NAME                       READY   STATUS             RESTARTS   AGE
jenkins-74b4c59549-qvmrt   0/1     CrashLoopBackOff   1          15s
#上面可以看到CrashLoopBackOff，解决方法如下：
#查看jenkins-74b4c59549-qvmrt日志
[root@master1 ~]# kubectl logs jenkins-74b4c59549-qvmrt -n jenkins-k8s
touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
#上面问题是因为/data/v1目录权限问题，按如下方法解决：
[root@master1 ~]# chown -R 1000.1000 /data/v1/
[root@master1 ~]# kubectl delete -f jenkins-deployment.yaml
[root@master1 ~]# kubectl apply -f jenkins-deployment.yaml
[root@master1 ~]# kubectl get pods -n jenkins-k8s
NAME                       READY   STATUS    RESTARTS   AGE
jenkins-74b4c59549-gp95l   1/1     Running   0          16s
（7）把jenkins前端加上service，提供外部网络访问
[root@master1 ~]# cat jenkins-service.yaml 
#更新资源清单文件
[root@master1 ~]# kubectl apply -f jenkins-service.yaml
[root@master1 ~]# kubectl get svc -n jenkins-k8s
NAME              TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                          
jenkins-service   NodePort   10.110.34.67   <none>        8080:30002/TCP,50000:32331/TCP   
4、配置Jenkins
在浏览器访问jenkins的web界面：
http://192.168.40.130:30002/login?from=%2F

1）获取管理员密码
在nfs服务端，也就是我们的master1节点获取密码：
[root@master1 ~]# cat  /data/v1/jenkins-home/secrets/initialAdminPassword
f9b0b4400c4a4d6eaec6762616db6d63
把获取到的密码拷贝到上面管理员密码下的方框里
点击继续，出现如下界面

2）安装插件

安装推荐的插件

插件安装好之后显示如下

3）创建第一个管理员用户

用户名和密码都设置成admin，线上环境需要设置成复杂的密码

修改好之后点击保存并完成，出现如下界面

点击保存并完成，出现如下界面

点击开始使用Jenkins

5、测试jenkins的CI/CD

#在Jenkins中安装kubernetes插件

（1）在jenkins中安装k8s插件

ManageJnekins------>插件管理------>可选插件------>搜索kubernetes------>出现如下

选中kubernetes之后------>点击下面的直接安装------>安装之后选择重新启动jenkins---> http://192.168.40.130:30002/restart-->重启之后登陆jenkins即可

#配置jenkins连接到我们存在的k8s集群

（1）访问http://192.168.40.130:30002/configureClouds/

新增一个云,在下拉菜单中选择kubernets并添加

（2）填写云kubernetes配置内容

kubernetes

https://192.168.40.130:6443

（3）测试jenkins和k8s是否可以通信

点击连接测试，如果显示Connection test successful或者显示Connected to Kubernetes 1.20

说明测试成功，Jenkins可以和k8s进行通信

配置k8s集群的时候jenkins地址需要写上面域名的形式，配置之后执行如下：

http://jenkins-service.jenkins-k8s.svc.cluster.local:8080

应用------>保存

（1）配置pod template

访问http://192.168.40.130:30002/configureClouds/

添加Pod模板------>KubernetesPod Template--->按如下配置

（2）在上面的podtemplate下添加容器

添加容器------>Container Template------>按如下配置------>

Docker镜像：使用jenkins-jnlp.tar.gz解压出来的镜像，把这个镜像上传到k8s的各node节点，手动解压：docker load -ijenkins-jnlp.tar.gz

解压出来的镜像是xianchao/jenkins-jnlp:v1

在每一个pod template右下脚都有一个Advanced，点击Advanced，出现如下

在ServiceAccount处输入jenkins-k8s-sa，这个sa就是我们最开始安装jenkins时的sa

（3）给上面的podtemplate添加卷

添加卷------>选择Host Path Volume

/var/run/docker.sock

/root/.kube

/home/jenkins/.kube

上面配置好之后，应用------>保存

#添加dockerhub凭据

注意：下面需要用到dockerhub存放镜像，大家如果没有dockerhub可以自己申请一个

首页------>系统管理----à管理凭据--à全局--à添加凭据

username：xianchao
password：1989*****
ID：dockerhub
描述：这个地方随便写
上面修改好之后选择确定即可
#测试通过Jenkins发布代码到k8s开发环境、测试环境、生产环境
在k8s的控制节点创建名称空间：
[root@master1 ~]# kubectl create ns devlopment
namespace/devlopment created
[root@master1 ~]# kubectl create ns production
namespace/production created
[root@master1 ~]# kubectl create ns qatest
namespace/qatest created
回到首页：
新建一个任务------>输入一个任务名称处输入jenkins-variable-test-deploy------>流水线------>确定------>在Pipeline script处输入如下内容
node('testhan') {
    stage('Clone') {
        echo "1.Clone Stage"
        git url: "https://github.com/luckylucky421/jenkins-sample.git"
        script {
            build_tag = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim()
        }
    }
    stage('Test') {
      echo "2.Test Stage"
    }
    stage('Build') {
        echo "3.Build Docker Image Stage"
        sh "docker build -t xianchao/jenkins-demo:${build_tag} ."
    }
    stage('Push') {
        echo "4.Push Docker Image Stage"
        withCredentials([usernamePassword(credentialsId: 'dockerhub', passwordVariable: 'dockerHubPassword', usernameVariable: 'dockerHubUser')]) {
            sh "docker login -u ${dockerHubUser} -p ${dockerHubPassword}"
            sh "docker push xianchao/jenkins-demo:${build_tag}"
        }
    }
    stage('Deploy to dev') {
        echo "5. Deploy DEV"
    sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-dev.yaml"
        sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-dev.yaml"
//        sh "bash running-devlopment.sh"
        sh "kubectl apply -f k8s-dev.yaml  --validate=false"
  }  
  stage('Promote to qa') {  
    def userInput = input(
            id: 'userInput',
            message: 'Promote to qa?',
            parameters: [
                [
                    $class: 'ChoiceParameterDefinition',
                    choices: "YES\nNO",
                    name: 'Env'
                ]
            ]
        )
        echo "This is a deploy step to ${userInput}"
        if (userInput == "YES") {
            sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-qa.yaml"
            sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-qa.yaml"
//            sh "bash running-qa.sh"
            sh "kubectl apply -f k8s-qa.yaml --validate=false"
            sh "sleep 6"
            sh "kubectl get pods -n qatest"
        } else {
            //exit
        }
    }
  stage('Promote to pro') {  
    def userInput = input(
            id: 'userInput',
            message: 'Promote to pro?',
            parameters: [
                [
                    $class: 'ChoiceParameterDefinition',
                    choices: "YES\nNO",
                    name: 'Env'
                ]
            ]
        )
        echo "This is a deploy step to ${userInput}"
        if (userInput == "YES") {
            sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-prod.yaml"
            sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-prod.yaml"
//            sh "bash running-production.sh"
            sh "cat k8s-prod.yaml"
            sh "kubectl apply -f k8s-prod.yaml --record --validate=false"
        }
    }
}
应用------>保存------>立即构建
在左侧可以看到构建任务，如下所示：

点击Input request，部署应用到预生产环境

点击Input request，部署应用到生产环境

看到Finished：SUCCESS,，说明pipeline构建任务完成
6、验证开发、预生产、生产环境部署的应用是否正常运行
[root@master1 ~]# kubectl get pods -n devlopment
NAME                            READY   STATUS    RESTARTS   AGE
jenkins-demo-784885d9c9-b4jkg   1/1     Running   0          6m18s
[root@master1 ~]# kubectl get pods -n qatest
NAME                            READY   STATUS    RESTARTS   AGE
jenkins-demo-784885d9c9-59tsm   1/1     Running   0          5m19s
[root@master1 ~]# kubectl get pods -n production
NAME                              READY   STATUS              RESTARTS   AGE
jenkins-demo-784885d9c9-42hz4   1/1       running             0          5m38s

实战2：Jenkins管理插件BlueOcean配置和使用
# BlueOcean是什么？
为了适应Jenkins Pipeline和 Freestyle jobs任务，Jenkins推出了BlueOcean UI，其目的就是让程序员执行任务时，降低工作流程的复杂度和提升工作流程的清晰度，它具有如下特征：
1、清晰的可视化：对CI/CD pipelines, 可以快速直观的观察项目pipeline状态。
2、pipeline可编辑：引导用户通过直观的、可视化的过程来创建Pipeline，从而使Pipeline的创建变得平易近人。
3、pipeline精确度：通过UI直接介入pipeline的中间问题。
#安装BlueOcean插件
主页—>系统管理插件管理可选插件—>过滤BlueOcean直接安装

安装完成后，重启jenkins
http://192.168.40.130:30002/restart

重启进入jenkins之后，在主页左侧可以看到打开Blue Ocean

实战3：Jenkins实现k8s应用按照指定版本回滚
回到首页：
新建一个任务------>输入一个任务名称处输入jenkins-variable-test-deploy-rollout------>流水线------>确定------>在Pipeline script处输入如下内容
node('testhan') {
  stage('git clone') {
    git url: "https://github.com/luckylucky421/jenkins-rollout"
    sh "ls -al"
    sh "pwd"
}
  stage('select env') {
    def envInput = input(
      id: 'envInput',
      message: 'Choose a deploy environment',
      parameters: [
         [
             $class: 'ChoiceParameterDefinition',
             choices: "devlopment\nqatest\nproduction",
             name: 'Env'
         ]
     ]
)
echo "This is a deploy step to ${envInput}"
sh "sed -i 's/<namespace>/${envInput}/' getVersion.sh"
sh "sed -i 's/<namespace>/${envInput}/' rollout.sh"
sh "bash getVersion.sh"
// env.WORKSPACE = pwd()
// def version = readFile "${env.WORKSPACE}/version.csv"
// println version
}
  stage('select version') {
     env.WORKSPACE = pwd()
  def version = readFile "${env.WORKSPACE}/version.csv"
  println version
      def userInput = input(id: 'userInput',
                                        message: '选择回滚版本',
                                        parameters: [
            [
                 $class: 'ChoiceParameterDefinition',
                 choices: "$version\n",
                 name: 'Version'
       ]
      ]
)
       sh "sed -i 's/<version>/${userInput}/' rollout.sh"
}
  stage('rollout deploy') {
      sh "bash rollout.sh"
}
}

点击应用->保存-立即构建

基于Jenkins和k8s构建企业级DevOps容器云平台

1.1 什么是DevOps？

1.1.1 敏捷开发

1.1.2 持续集成（CI）

1.1.3 持续交付

1.1.4 持续部署

1.2 k8s在DevOps中可实现的功能

1.2.1 自动化

1.2.2 多集群管理

1.2.3 多环境一致性

1.2.4 实时反馈和智能化报表

1.3 Jenkins+K8S+harbor+git+sonarqube+nexus构建DevOps容器云平台流程

5、测试jenkins的CI/CD

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

基于Jenkins和k8s构建企业级DevOps容器云平台

1.1 什么是DevOps？

1.1.1 敏捷开发

1.1.2 持续集成（CI）

1.1.3 持续交付

1.1.4 持续部署

1.2 k8s在DevOps中可实现的功能

1.2.1 自动化

1.2.2 多集群管理

1.2.3 多环境一致性

1.2.4 实时反馈和智能化报表

1.3 Jenkins+K8S+harbor+git+sonarqube+nexus构建DevOps容器云平台流程

5、测试jenkins的CI/CD

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像