需求
1.我们的代码编译需要用到gradle6.2版本，jdk13版本，docker in docker策略
2.因为是在CI环境中使用，所以gradle容器会因为流水线的触发，不停的启动和删除。下载jar包会非常消耗时间，我们需要持久化这些gradle缓存。
3.挂载这些gradle缓存文件到机器上，可以用ceph集群和NFS,这里我偷懒，先用NFS做，后期资源充足再换成ceph。
4.因为我们有并行流水线的可能，所以gradle容器可能一次不止一个，而gradle的caches一次只能被一个进程占用，为了避免多容器占用同一个gradle的caches，我们需要有策略。
已经踏过的坑
1.不能使用apline来制作gradle容器，因为我们的代码里有用到protoc，他会在gradle里安装protoc-3.10.1-linux-x86_64.exe，但是这个程序并不兼容alpine系统，最终会导致报错。报错信息如下图
2.不要使用adoptopenjdk/openjdk13:latest镜像来制作Dockerfile，这个镜像用的jdk版本是jdk13 ea版本。这个ea版本和正常的jdk13有一些细微的差点，这会导致gradle最后编译失败，报错信息如下图
3.不要直接把gradle缓存目录直接挂载进去，这会导致多任务时阻塞，同时编译失败，如下图
解决过程
1.创建NFS
NFS的搭建是比较简单的。在网上可以很容易搜索到教程，这里需要注意节点机器上也需要安装NFS工具，apt-get install nfs-common，不然会报错，导致K8S在这个节点上创建不了容器，因为挂载volume就失败了
我们在NFS服务器上创建一个目录，用于存放gradle的缓存
vi /etc/exports 添加 /nfsdata/gradle-cache/ *(rw,sync,no_root_squash,no_subtree_check)
2.创建gradle镜像，用于k8s中编译使用
使用Dockerfile，内容如下
FROM gradle:6.2.0-jdk13 # 因为需要docker in docker 所以这里用阿里云一键安装docker RUN curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun # 随意创建一个文件 RUN echo "test" > test.log # 因为使用了私有仓库，所以之间拷贝docker配置文件进去 COPY daemon.json /etc/docker/daemon.json # 原来的gradle命令是"jshell"这里我们替换掉，避免容器启动后，程序结束就消失 ENTRYPOINT ["tail","-f","test.log"]
docker build -t gradle_lzw .
3.使用这个gradle镜像运行起来，进行一次编译，把gradle caches拷贝出来，放到NFS中
#运行容器 docker run -d -v /var/run/docker.sock:/var/run/docker.sock gradle_lzw
# 进入容器编译代码， docker exec -it gradle_lzw gradle XXXXX（gradle编译命令）
# 复制出缓存文件 docker cp gradle:/home/gradle/.gradle /home/temp/local/.gradle
关于gradle的缓存可以看这个https://github.com/keeganwitt/docker-gradle
4.把上一步获得的gradle缓存文件上传到NFS服务器上
scp -r root@{有gradle缓存的机器IP}:/home/temp/local/.gradle /nfsdata/gradle-cache/.
5.为了避免多容器并发占用gradle缓存目录，我们只能绕开直接挂载。我们先把缓存文件挂载到一个无用的目录中，然后再从这个目录复制到gradle指定的缓存目录中l
项目流水线配置
Jenkinsfile内容参考：
pipeline { agent { kubernetes { //label使用项目名称，因为不同的项目，build方式是不同的，如果错误的使用了相同的label。Jenkins就不会去读取BuildPod.yaml label 'jnlp-项目名称' // yamlFile 'BuildPod.yaml' } } stages { stage('build') { //使用gradle容器 container('gradle'){ sh ''' //复制缓存文件 cp -rf /opt/.gradle/caches /home/gradle/.gradle/caches gradle {build 命令} ''' } } } }
BuildPod.yaml配置,gradle-cache是缓存目录，dind是docker in docker的必要容器
kind: Pod metadata: labels: some-label: some-label-value spec: containers: - name: jnlp image: jenkins/jnlp-slave tty: true volumeMounts: - name: workspace-volume mountPath: /home/jenkins - name: gradle image: gradle_lzw:latest tty: true volumeMounts: - name: workspace-volume mountPath: /home/jenkins - name: gradle-cache mountPath: /opt/.gradle env: - name: DOCKER_HOST value: tcp://localhost:2375 - name: dind image: docker:18.05-dind securityContext: privileged: true volumeMounts: - name: dind-storage mountPath: /var/lib/docker imagePullSecrets: - name: repok8s volumes: - name: gradle-cache nfs: server: {NFS服务器IP} path: "/nfsdata/gradle-cache/.gradle" - name: workspace-volume # pod中有一个volume让其中的多个容器共享 emptyDir: {} - name: dind-storage emptyDir: {}
