在阿里云kubernetes上部署Jenkins Master

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 如何在kubernetes上部署jenkins master

问题

Jenkins是很多公司开发中CI/CD用到的开源工具,但是开源里没有针对其提供高可用的方案,同时如果给每个Jenkins服务都分配一台机器,资源将比较浪费。另外在一个问题是大型一点的公司,为了能消除团队相互间的干扰,很可能是每个开发团队有自己的Jenkins服务器,,这又引入新的问题,将如何同时管理好这么多的Jenkins服务机器/集群,如果出错又该如何回复呢等等?

本文将通过容器+分布式存储的方式来构建容易维护的Jenkins集群,但是受制于Jenkins的实现机制,一个集群只能部署一个master实例,有Kubernetes的自动恢复容器的机制来保证高可用,后续再介绍如何使用容器的方式运行多个Jenkins Slave

架构以及部署模型

Snip20180803_76

  • 构建一个NAS文件系统,用于存储Jekinks的配置(系统配置,以及作业配置),通过NAS的高可用性来提供Jekinks集群的可用性,当实例意外消亡时,数据依然保留并可以用作恢复。
  • 以Kubernetes的deployment的方式来部署Jenkins的容器(确保只能有一个实例),可以自动在实例意外消亡时被恢复。
  • 通过Ingress的方式来暴露Jenkins服务给客户使用

部署实践

创建NAS

  • 创建一个和K8S在同一个region的文件系统
    Snip20180803_70
  • 创建一个挂载点,选在与K8S相同的VPC,这个务必一样,因为不能垮VPC调用NAS,权限组没有特殊,使用默认的就可
    Snip20180803_71
  • 获得挂载点对应的地址
    Snip20180803_72

创建PV/PVC

  • 通过阿里云的Kubernetes容器服务控制台,创建对应的存储卷(PV)

这里挂载点的域名就是之前配置后得到的挂载点地址

Snip20180803_73

  • 通过阿里云的Kubernetes容器服务控制台,创建对应的存储卷申明(PVC),这里关联前面的PV就可

这里定义的PVC的名字为:jenkins,后面部署容器需要用到

Snip20180803_74

创建Jenkins对应的Namespace, Deployment, Service, Ingress

  • 创建一个独立的Namespace,这个通常用来隔离不同团队的使用空间以及相关的约束,这里只是简单做了一个创建kube-ops
apiVersion: v1
kind: Namespace
metadata:
  name: kube-ops
AI 代码解读
  • 创建对应的权限管理serviceAcount, role, roleBinding
apiVersion: v1
kind: ServiceAccount
metadata:
  name: jenkins
  namespace: kube-ops

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: Role
metadata:
  name: jenkins
  namespace: kube-ops
rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["get"]

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: RoleBinding
metadata:
  name: jenkins
  namespace: kube-ops
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: jenkins
subjects:
  - kind: ServiceAccount
    name: jenkins
    namespace: kube-ops
AI 代码解读
  • 创建对应的deployment和service
---
apiVersion: v1
kind: Deployment
metadata:
  name: jenkins
  namespace:  kube-ops
spec:
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - name: jenkins
        image: jenkins:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        - containerPort: 50000
          name: agent
          protocol: TCP
        resources:
          limits:
            cpu: 4000m
            memory: 4Gi
          requests:
            cpu: 2000m
            memory: 4Gi
        livenessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 90
          timeoutSeconds: 5
          failureThreshold: 12
        readinessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 90
          timeoutSeconds: 5
          failureThreshold: 12
        volumeMounts:
        - name: jenkinshome
          subPath: jenkins
          mountPath: /var/jenkins_home
        env:
        - name: LIMITS_MEMORY
          valueFrom:
            resourceFieldRef:
              resource: limits.memory
              divisor: 1Mi
        - name: JAVA_OPTS
          value: -Xmx$(LIMITS_MEMORY)m -XshowSettings:vm -Dhudson.slaves.NodeProvisioner.initialDelay=0 -Dhudson.slaves.NodeProvisioner.MARGIN=50 -Dhudson.slaves.NodeProvisioner.MARGIN0=0.85 -Duser.timezone=Asia/Shanghai
      securityContext:
        fsGroup: 1000
      volumes:
      - name: jenkinshome
        persistentVolumeClaim:
          claimName: jenkins

---
apiVersion: v1
kind: Service
metadata:
  name: jenkins
  namespace:  kube-ops
  labels:
    app: jenkins
spec:
  selector:
    app: jenkins
  ports:
  - name: web
    port: 8080
    targetPort: web
  - name: agent
    port: 50000
    targetPort: agent
AI 代码解读
  • 部署Ingress
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: jenkins-ingress
  namespace: kube-ops
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/affinity: cookie
    nginx.ingress.kubernetes.io/session-cookie-hash: sha1
    nginx.ingress.kubernetes.io/session-cookie-name: route    
spec:
  rules:
  - host: testjenkins.com
    http:
      paths:
      - backend:
          serviceName: jenkins
          servicePort: 8080
AI 代码解读
  • 访问对应的服务

在客户端主机的配置testjenkins.com和对应的Ingress的SLB的IP的映射,然后通过浏览器访问testjenkins.com:就可

“填坑”小记

  • 对于服务开在SLB 80端口需要根据中国的监管要求,有域名认证才可以,不然会被警告和屏蔽。测试可以在Ingress SLB配置多一个非80的端口映射就可
  • 新版本的Jenkins默认开了安全的跨域保护,访问的时候会出现No valid crumb问题(参考:https://issues.jenkins-ci.org/browse/JENKINS-42200 ),解决办法是在Jenkins的安全配置里设置(系统管理->Configure Global Security)激活代理兼容

Snip20180803_75

参考

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
打赏
0
0
0
0
78360
分享
相关文章
部署DeepSeek但GPU不足,ACK One注册集群助力解决IDC GPU资源不足
借助阿里云ACK One注册集群,充分利用阿里云强大ACS GPU算力,实现DeepSeek推理模型高效部署。
企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
本教程演示如何在ACK中使用vLLM框架快速部署DeepSeek R1模型推理服务。
NVIDIA NIM on ACK:优化生成式AI模型的部署与管理
本文结合NVIDIA NIM和阿里云容器服务,提出了基于ACK的完整服务化管理方案,用于优化生成式AI模型的部署和管理。
阿里云ACK+GitLab企业级部署实战教程
GitLab 是一个功能强大的基于 Web 的 DevOps 生命周期平台,整合了源代码管理、持续集成/持续部署(CI/CD)、项目管理等多种工具。其一体化设计使得开发团队能够在同一平台上进行代码协作、自动化构建与部署及全面的项目监控,极大提升了开发效率和项目透明度。 GitLab 的优势在于其作为一体化平台减少了工具切换,高度可定制以满足不同项目需求,并拥有活跃的开源社区和企业级功能,如高级权限管理和专业的技术支持。借助这些优势,GitLab 成为许多开发团队首选的 DevOps 工具,实现从代码编写到生产部署的全流程自动化和优化。
大道至简-基于ACK的Deepseek满血版分布式推理部署实战
本教程演示如何在ACK中多机分布式部署DeepSeek R1满血版。
K8S部署nexus
该配置文件定义了Nexus 3的Kubernetes部署,包括PersistentVolumeClaim、Deployment和服务。PVC请求20Gi存储,使用NFS存储类。Deployment配置了一个Nexus 3容器,内存限制为6G,CPU为1000m,并挂载数据卷。Service类型为NodePort,通过30520端口对外提供服务。所有资源位于`nexus`命名空间中。
Jenkins 自动化局域网管控软件构建与部署流程
在企业局域网管理中,Jenkins 作为自动化工具,通过配置源码管理、构建及部署步骤,实现了高效、稳定的软件开发与部署流程,显著提升局域网管控软件的开发与运维效率。
68 5
DevOps实践:Jenkins在持续集成与持续部署中的价值
【10月更文挑战第27天】在快速发展的软件开发领域,DevOps实践日益重要。Jenkins作为一款流行的开源自动化服务器,在持续集成(CI)和持续部署(CD)中扮演关键角色。本文通过案例分析,探讨Jenkins在Java项目中的应用,展示其自动化构建、测试和部署的能力,提高开发效率和软件质量。
115 2
Jenkins集成Maven
通过以上步骤,可以在Jenkins中成功集成Maven,实现自动化构建和部署。通过定时构建、SCM轮询等方式,可以确保代码库中的最新变更能够及时构建和测试,提高开发效率和代码质量。这种集成方式在实际项目中具有广泛的应用前景,能够显著提升团队的协作效率。
48 8
从 Jenkins 持续集成出发:探究如何监控员工电脑屏幕
Jenkins 在企业信息化管理中用于自动化构建、测试和部署,提高开发效率。本文讨论了其重要性,并从技术角度探讨了屏幕监控的可能性,但明确反对非法监控,强调应合法合规地管理企业和尊重员工隐私。
94 12

热门文章

最新文章

相关产品

  • 容器服务Kubernetes版