CICD联动阿里云容器服务Kubernetes实践之Bamboo篇

本文档以构建一个 Java 软件项目并部署到 阿里云容器服务的Kubernetes集群 为例说明如何使用 Bamboo在阿里云Kubernetes服务上运行Remote Agents并在agents上运行Build Plans。

1. 源码项目

本示例中创建的GitHub源码项目地址为：

https://github.com/AliyunContainerService/jenkins-demo.git  

分支为:

bamboo

2. 在Kubernetes中部署Remote Agent

2.1 创建kaniko-docker-cfg secret

kaniko-docker-cfg secret用于Remote Agent上构建任务使用kaniko推送容器镜像时的权限配置

kubectl -n bamboo create secret generic kaniko-docker-cfg  --from-file=/root/.docker/config.json

上面命令中的/root/.docker/config.json，是在linux服务器上使用root用户通过以下命令生成的：

docker login registry.cn-hangzhou.aliyuncs.com

2.2 创建serviceaccount bamboo以及clusterrolebinding用于kubectl部署应用到kubernetes集群的权限设置，创建bamboo-agent deployment

注意： 本示例中的clusterrolebinding为admin权限， 具体使用中可以根据自己的需要创建最小权限的serviceaccount

bamboo-agent.yaml:

---
apiVersion: v1
kind: ServiceAccount
metadata:
  namespace: bamboo
  name: bamboo

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: bamboo-cluster-admin
subjects:
  - kind: ServiceAccount
    name: bamboo
    namespace: bamboo
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io

---
apiVersion: apps/v1beta2
kind: Deployment
metadata:
  name: bamboo-agent
spec:
  replicas: 1
  selector:
    matchLabels:
      app: bamboo-agent
  template:
    metadata:
      labels:
        app: bamboo-agent
    spec:
      serviceAccountName: bamboo
      containers:
      - name: bamboo-agent
        env:
        - name: BAMBOO_SERVER_URL
          value: http://xx.xx.xx.xx:8085
        image: registry.cn-hangzhou.aliyuncs.com/haoshuwei/docker-bamboo-agent:v1
        imagePullPolicy: Always
        volumeMounts:
          - mountPath: /root/.docker/
            name: kaniko-docker-cfg
      volumes:
        - name: kaniko-docker-cfg
          secret:
            secretName: kaniko-docker-cfg

kubectl -n bamboo apply -f bamboo-agent.yaml

上述kubernetes资源创建完毕后等待remote agent完成初始化配置， 可以使用如下命令查看日志：

kubectl -n bamboo logs -f <bamboo agent pod name>

Remote Agent注册成功后可以在 Bamboo administration -> Agents -> Remote agents 下查看：

3. 配置一个build plan完成应用源码拉取、编译打包、容器镜像打包和推送、应用部署的过程

3.1 创建一个build plan bamboo-ack-demo

3.2 配置Stages并添加Job

Job配置：

3.2.1 源码拉取

3.2.2 mvn打包

3.2.3 kaniko打包和推送容器镜像

本示例中script body为：

kaniko -f `pwd`/Dockerfile -c `pwd` --destination=registry.cn-hangzhou.aliyuncs.com/haoshuwei/bamboo-java-demo:latest

3.2.4 kubectl部署应用到kubernetes

本示例中script body为：

sed -i 's#IMAGE_URL#registry.cn-hangzhou.aliyuncs.com/haoshuwei/bamboo-java-demo:latest#' ./*.yaml
kubectl apply -f ./

3.3 运行build

3.4 访问应用服务

[root@iZbp12i73koztp1cz75skaZ bamboo]# kubectl -n bamboo get svc
NAME                TYPE           CLUSTER-IP      EXTERNAL-IP       PORT(S)        AGE
jenkins-java-demo   LoadBalancer   xx.xx.xx.xx   xx.xx.xx.xx   80:32668/TCP   39m

4. 其他

本示例中的镜像registry.cn-hangzhou.aliyuncs.com/haoshuwei/docker-bamboo-agent:v1的制作可以参考：
https://github.com/haoshuwei/docker-bamboo-agent.git

参考：
https://confluence.atlassian.com/get-started-with-bitbucket/get-started-with-bitbucket-cloud-856845168.html