针对Kubernetes和Docker Workflow Plugin的Jenkins配置

简介: 本文讲的是针对Kubernetes和Docker Workflow Plugin的Jenkins配置,【编者的话】Jenkins作为一款开源的持续集成工具,在很多平台上被使用,本文主要介绍了在Kubernetes和Docker Workflow Plugin中的一些配置,可以帮助读者了解到其中的一些细节和方法。
本文讲的是针对Kubernetes和Docker Workflow Plugin的Jenkins配置, 【编者的话】Jenkins作为一款开源的持续集成工具,在很多平台上被使用,本文主要介绍了在Kubernetes和Docker Workflow Plugin中的一些配置,可以帮助读者了解到其中的一些细节和方法。

最近我开始尝试在 Kubernetes 中使用 Jenkins ,其实我也是想看看如何可以更好地运行  Docker Workflow插件 。

我的思路是有一个可以运行Jenkins的Pod,并用它来运行通过 Docker Workflow插件 定义的构建。经过大量阅读和多次反复的实验,我发现有很多种方法来实现这一想法,当然这些方法各有不同的利弊。

这篇文章讨论了所有可用的方法,具体来讲:
  1. 直接在Master上运行构建
  2. 使用Docker插件启动Slaves
  3. 使用Docker插件以及Docker in Docker
  4. 使用Swarm客户端
  5. 使用Docker in Docker和Swarm

在我阐述所有可能的配置之前,我觉得先来描述一下所有的这些插件是什么会对大家很有帮助。

Docker Plugin

一个使用了 Docker 的 Jenkins 插件,用以创建和使用slaves,它使用HTTP协议来与 Docker 通信并生成新的容器。这些容器只需支持Java并且可以运行SSHD,以便master可以通过SSH连接到容器内并施展它的魔力。网络上有许多slave容器的镜像,在我重新连接时最流行的镜像是 evarga jenkins slave 。

这个插件很不错但是让人感觉有点不可靠,虽然它可以创建Docker容器,但是有时候它却无法连接到slave并且会重试(往往会重试两三次),它会以相似的方法,使用很多不同的身份验证方法(密码、密钥验证等)尝试连接很多不同的slave镜像。

Swarm

生成slaves的一种方法是使用插件。另外一种方法是“建立自己的slaves”,这几乎就是Swarm的思想所在。这种思想指的是Jenkins master来运行Swarm插件,用户负责启动 Swarm 客户端(它仅仅是个Java进程)。
java -jar /path/to/swarm-client.jar http://jenkins.master:8080

客户端连接到master机器并且让master知道客户端已经启动并且运行。然后master就能够在客户端开始构建。

Docker Workflow插件

这个插件允许你在工作流脚本中使用Docker镜像和容器,或者换句话说,此插件允许你在Docker容器中执行工作流步骤并且可以从工作流脚本中生成Docker。

为了概括一下在Docker镜像中你的构建的所有需求并且让你无须担心如何安装和配置它们,下面给出一个Docker Workflow脚本的例子:
node('docker') {
docker.image('maven').inside {
  git 'https://github.com/fabric8io/example-camel-cdi'
  sh 'mvn clean install'
 }
} 

注意 :你无需在 Docker Workflow Plugin 中使用 Docker Plugin 。

另外 :Docker Workflow Plugin使用的是Docker二进制,这就意味着无论你在何处想要使用Docker Workflow插件,你都必须安装Docker客户端。

差点忘了 :构建的“执行器”和参与工作流的容器需要共享项目工作空间,这里我就不赘述了。只需记住,在Docker主机(或是一些缺少共享文件系统的主机)中,通常需要访问Docker host上的特定路径。无法满足这个需求会导致一些“难以监测”的问题比如构建永久悬挂等。

现在我们已经准备好了,让我们来一探究竟这些可能的设置是什么。

不涉及slaves

这是最简单的方法,它不会涉及 Jenkins  slaves,通过配置一系列固定的执行器,构建就可以直接运行在master上。

因为没有slaves,所以运行Jenkins的容器自身需要安装和配置Docker二进制文件来指向真正的Docker host。

如何在Kubernetes中使用Docker Host?

这里给出两种方法:
  1. 使用Kubernetes API
  2. 通过挂载 /var/run/docker.sock

你可以(1)通过使用一个简单的shell脚本,如下:
#!/bin/bash
KUBERNETES=https://$KUBERNETES_SERVICE_HOST:$KUBERNETES_SERVICE_PORT
TOKEN=`cat /var/run/secrets/kubernetes.io/serviceaccount/token`
POD=`hostname`
curl -s -k -H "Authorization: Bearer $TOKEN" $KUBERNETES/api/v1/namespaces/$KUBERNETES_NAMESPACE/pods/$POD | grep -i hostIp | cut -d "\"" -f 4 

(2)通过指定一个挂载到Jenkins POD上的hostDir卷
{
"volumeMounts": [
{
"name": "docker-socket",
"mountPath": "/var/run/docker.sock",
"readOnly": false
}
],


"volumes": [
{
"name": "docker-socket",
"hostPath": {
  "path": "/var/run/docker.sock"
}
}
]
} 

一个像这样设置的实例可以在 这里 找到。

优点:
  1. 简单可行
  2. 插件数量最少

缺点:
  1. 不具规模性
  2. 直接连接了Docker Daemon
  3. 需要获取主机上的具体路径(参见Docker Workflow Plugin)

Docker Plugin管理Slaves

由于显而易见的原因,先前的方法都不具规模性。因为Docker和Kubernetes早已准备就绪,所以将它们当做丰富的资源来使用似乎是一个非常好的主意。

所以,我们可以为每一个我们想要运行的构建增加Docker Plugin并用它生成一个slave容器。这就意味着我们需要一个Docker容器,这个容器有权访问Docker二进制文件(需要docker workflow支持)并且也可以从master上挂载项目的工作空间。

正如上文所述,master需要通过SSH连接到slave。为了使得连接成功,需要配置证书或是正确的SSH密钥。在这两种情况中,docker plugin的xml配置文件都需要更新以适用于Jenkins证书配置的编号(例子参见 config.xml )。

那么,确切的说,这个编号是什么呢?

Jenkins使用Credential Plugin来存储和检索证书。每一套证书都有唯一的编号,其他插件可以根据这个编号找到一套适用的证书。考虑到安全因素,密码、口令等并不是以纯文本的方式存储,而是通过SHA256加密后存储。用来加密的密钥同样也被加密以确保更加安全。关于这个主题的更多详细的资料,你可以在这篇优秀的文章 “Credential storage in Jenkins” 中找到。

我希望您注意的是,鉴于证书在Jenkins的存储方式,建立一个在没有人为干扰下可以相互通信的master镜像和slave镜像是十分重要的。可以尝试使用像这样的脚本:
#Generate master.key and secret
MAGIC="::::MAGIC::::"
mkdir -p /var/jenkins_home/secrets
openssl rand -hex 128 > /var/jenkins_home/secrets/master.key
openssl dgst -sha256 -binary /var/jenkins_home/secrets/master.key > /tmp/master.hashed
HEX_MASTER_KEY=`head -c 16 /tmp/master.hashed | xxd -l 16 -p`
openssl rand 259 > /tmp/base
echo $MAGIC >> /tmp/base
openssl enc -aes-128-ecb -in /tmp/base -K $HEX_MASTER_KEY -out /var/jenkins_home/secrets/hudson.util.Secret

为了生成密钥和master key,并用他们来加密密码,你可以使用像下面这样的脚本:
#!/bin/bash
IN=`echo $1 | base64`
SUFFIX="::::MAGIC::::"
MASTER_KEY=`cat /var/jenkins_home/secrets/master.key`
HASHED_MASTER_KEY=`echo -n $MASTER_KEY | sha256sum | cut -d " " -f 1`
HASHED_MASTER_KEY_16=${HASHED_MASTER_KEY:0:16}
openssl enc -d -aes-128-ecb -in /var/jenkins_home/secrets/hudson.util.Secret -K $HASHED_MASTER_KEY -out /tmp/hudson.key
HUDSON_KEY=`cat /tmp/hudson.key`
HUDSON_KEY_TRIMMED=${HUDSON_KEY:0:-16}
HUDSON_KEY_16=${HUDSON_KEY_TRIMMED:0:16}
echo $HUDSON_KEY_16 > /tmp/hudson16.key
echo "$IN$SUFFIX" > /tmp/jenkins.password
openssl enc -aes-128-ecb -in /tmp/hudson16.key -out /tmp/jenkins.password.enc -K $IN 

若要真正地加密密码,我不会向任何人推荐这种做法,我展示上述脚本仅仅是为了强调这种加密是多么的复杂。当然了,像这样的脚本也会充分利用Credential Plugin内部的一些细节并且给人感觉很hack。我发现在配置证书时一个更加优雅的方法是将下面的groovy脚本写进Jenkins中的init.groovy.d文件:
import jenkins.model.*
import com.cloudbees.plugins.credentials.*
import com.cloudbees.plugins.credentials.common.*
import com.cloudbees.plugins.credentials.domains.*
import com.cloudbees.plugins.credentials.impl.*
import com.cloudbees.jenkins.plugins.sshcredentials.impl.*
import hudson.plugins.sshslaves.*;

domain = Domain.global()
store = Jenkins.instance.getExtensionList('com.cloudbees.plugins.credentials.SystemCredentialsProvider')[0].getStore()

priveteKey = new BasicSSHUserPrivateKey(
CredentialsScope.GLOBAL,
"jenkins-slave-key",
"root",
new BasicSSHUserPrivateKey.UsersPrivateKeySource(),
"",
""
)

usernameAndPassword = new UsernamePasswordCredentialsImpl(
CredentialsScope.GLOBAL,
"jenkins-slave-password", "Jenkis Slave with Password Configuration",
"root",
"jenkins"
)

store.addCredentials(domain, priveteKey)
store.addCredentials(domain, usernameAndPassword) 

上面的片段展示了如何使用一个空的口令来生成用户名/密码证书以及SSH私钥。

优点:
  1. 足够简单

缺点:
  1. Docker Plugin现阶段还未发展到这个地步
  2. 直接连接到Docker daemon
  3. 需要访问主机的特定路径(参见Docker Workflow Plugin)

即使我们抛开与Docker Plugin相关的问题不谈,我仍然对于不与Docker daemon通信而是基于Kubernetes运行的方法非常感兴趣。

Docker Plugin使用D.I.N.D管理Slaves

对于我们而言, 为了避免落后于Kubernetes。

可能的情况数量有所增加,既可以在Kubernetes master上直接使用DIND,也可以结合Docker Plugin ,从而使得每一个salve都能够运行自己的demon并且实现100%隔离。

无论哪种方式,构建过程中发生的事情与环境之外完全隔离,另一方面它确实需要使用特权模式,这可能是一个问题,因为该模式可能无法在某些环境中使用(比如我上次检查时,它就无法在Google容器引擎中使用)。

注:通过在slave中托管docker daemon,我们可以从在外部docker中挂载卷的需求中解脱出来(请记住,只有执行程序和工作流步骤中需要共享工作空间)。
优点:
  1. 100%隔离
  2. 无需访问外部Docker的特定路径

缺点:
  1. 复杂性
  2. 需要特权模式
  3. Docker 镜像不能被缓存

D.I.N.D.或者说还没未出现的方法仍需要给出一个用于缩放的解决方案。到目前为止,Docke Plugin似乎并不是一个理想的解决方案。此外,在Kubernetes中等同于Docker Plugin的插件(Kubernetes Plugin)似乎需要多一点的关注。所以,现在让我们来谈谈Swarm。
使用Swarm似乎是一个不错的选择,因为我们使用的是Kubernetes,它可以非常容易的开启N多个运行Swarm客户端的容器。我们可以使用带有合适容器的replication controller。

优点:
  1. 迅速
  2. 可扩展性
  3. 健壮性

缺点:
  1. Slaves需要在外部管理
  2. 需要访问主机的特定路径(参见Docker Workflow Plugin)

使用Swarm客户端和D.I.N.D

在这种使用情况下,关于D.I.N.D的主要问题是,事实上,在Docker中的Docker,里面的镜像无法被缓存。可以去尝试做一个分享Docker Registry的实验,不过我不确定有没有可能实现。

另一方面,对于大多数其他方法,我们需要使用hostPath挂载,在一些环境中这可能无法奏效。

解决上述问题的方案是将Swarm与D.I.N.D结合。

保留Swarm客户端(而不是在每次构建之后都消除它),这样就解决了镜像缓存问题。

另外,对于D.I.N.D,我们也不再需要通过Kubernetes来使用hostPath挂载。

因此,对于我们来说,这是个两全之计。

优点:
  1. 迅速
  2. 可扩展性
  3. 健壮性
  4. 100%隔离
  5. 镜像可以被缓存

缺点:
  1. Slave需要在外部管理

结语

我尝试了上述所有的设置,并把它作为我正在做的poc的一部分:" Jenkins for Docker Workflow on Kubernetes "。

我觉得我应该分享出来。我还想要尝试的一些东西比如:
  • 对slaves使用secrets认证
  • 去除 clutter
  • 等等

欢迎在评论中回复您的经验、建议或是指正。我希望这篇文章对您有用。

原文链接:Jenkins setups for Kubernetes and Docker Workflow(翻译:李加庆)

原文发布时间为:2015-09-10 
本文作者:YiGagyeong 
本文来自云栖社区合作伙伴DockerOne,了解相关信息可以关注DockerOne。
原文标题:针对Kubernetes和Docker Workflow Plugin的Jenkins配置
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
Kubernetes jenkins 持续交付
Artifact Hub在Kubernetes中的应用:部署Jenkins的脚本整理
以上步骤断言清晰明确地描述了如何通过Artifact Hub 使用Helm图表来部署Kubernetes 中得Jenkis 实例,并且提供了相应得Shell 脚本作为执行指南. 这样不但能够帮助用户快速地进行操作, 同时也能够通过自定义参数来满足不同用户需求.
418 5
存储 jenkins 持续交付
1212 2
|
人工智能 缓存 Kubernetes
ACK GIE配置建议
Gateway with Inference Extension是基于Kubernetes社区Gateway API及其扩展规范实现的增强型组件,支持四层/七层路由服务,并面向生成式AI推理场景提供负载均衡优化、服务管理简化等能力,适用于AI推理服务的高可用部署与性能优化。在不同的场景使用ACK Gateway with Inference Extension时,可能需要根据业务需求和高可用需要对网关和推理扩展进行不同的配置调整。本文主要介绍在实际业务场景中针对ACK GIE的配置建议,以获得更好的使用效果。
1196 23
|
Kubernetes 关系型数据库 文件存储
手把手教你完成极空间 NAS Docker 镜像加速配置
本教程详细介绍了如何在极空间NAS上配置轩辕镜像加速器,以提升Docker镜像的下载速度与稳定性。内容涵盖账号注册、网络确认、加速器设置及验证方法,并提供常见问题解决方案,帮助用户高效完成容器化应用部署。
5302 1
|
文件存储 数据安全/隐私保护 开发者
群晖NAS Docker镜像源加速配置教程
本教程介绍了群晖NAS用户如何通过配置轩辕镜像加速服务提升Docker镜像拉取速度。内容包括配置前准备、详细设置步骤及日常使用说明,帮助用户快速完成配置并享受高效稳定的镜像下载体验。
7417 60
|
Docker 容器 文件存储
飞牛fnOS Docker镜像加速配置全攻略
本文介绍了如何在飞牛fnOS中配置Docker镜像加速服务,通过设置轩辕镜像仓库加速器,提升镜像拉取速度与稳定性。内容涵盖配置前准备、加速源设置、首选加速源调整及使用指南,帮助用户高效完成镜像操作。
9057 56
|
Java 分布式数据库 Docker
使用Docker配置并连接HBase的Java API
本流程概要的解释了如何在Docker上配置并启动HBase服务,并通过Java API进行连接和操作表,不涉及具体的业务逻辑处理和数据模型设计,这些因应用而异需由开发者根据实际需求进行实现。
636 13
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
2082 4
|
Prometheus 监控 Cloud Native
Prometheus配置docker采集器
本文介绍了如何使用 Prometheus 监控 Docker 容器,涵盖环境准备、配置文件编写及服务启动等步骤。首先确保安装 Docker 和 Docker Compose,接着通过 `docker-compose.yml` 配置 Prometheus 和示例应用。创建 `prometheus.yml` 指定数据采集目标,最后用 `docker-compose up -d` 启动服务。文章还展示了甘特图和类图,帮助理解服务状态与关系,助力提升系统可靠性和可维护性。
831 11