使用阿里云容器服务Jenkins实现持续集成和Docker镜像构建(updated on 2017.3.3)

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 持续集成作为敏捷开发重要的一步,其目的在于让产品快速迭代的同时,尽可能保持高质量。每一次代码更新,都要通过自动化测试来检测代码和功能的正确性,只有通过自动测试的代码才能进行后续的交付和部署。本文主要介绍如何将时下最流行的持续集成工具之一的Jenkins结合阿里云容器服务,实现自动测试和镜像构建推送。

持续集成作为敏捷开发重要的一步,其目的在于让产品快速迭代的同时,尽可能保持高质量。每一次代码更新,都要通过自动化测试来检测代码和功能的正确性,只有通过自动测试的代码才能进行后续的交付和部署。本文主要介绍如何将时下最流行的持续集成工具之一的Jenkins结合阿里云容器服务,实现自动测试和镜像构建推送。

接下来的演示是如何通过阿里云容器服务Jenkins实现自动测试和Docker镜像构建,实现高质量的持续集成。
具体场景:每次代码提交到GitHub上的nodejs的项目中,阿里云容器服务Jenkins都会自动触发单元测试,测试通过则继续镜像构建及推送到目标镜像仓库中,最后邮件通知结果。大致流程如下图所示:
topyl
slave-nodejs 是用来进行单元测试,build镜像和推送镜像的slave节点。

1. Jenkins相关介绍

Jenkins是基于Java开发的一种开源持续集成工具,监控并触发持续重复的工作,具有开源,支持多平台和插件扩展,安装简单,界面化管理等特点。Jenkins使用job来描述每一步工作,节点是用来执行项目的环境。Master节点是Jenkins job的默认执行环境,也是Jenkins应用本身的安装环境。

1.1 master/slave

master/slave相当于server和agent的概念。master提供web接口让用户来管理job和slave,job可以运行在master本机或者被分配到slave上运行。一个master可以关联多个slave用来为不同的job或相同的job的不同配置来服务。
可以通过配置多个slave为不同项目准备单独的测试和构建环境。
Tips: 本文中提到的Jenkins job和项目均指的是Jenkins一个构建单元,执行单元。

2. 使用容器服务部署Jenkins应用和slave节点

不同应用构建、测试所需要的依赖不同,最佳实践是使用包含相应的运行时依赖和工具的不同Slave容器执行测试和构建。通过阿里云容器服务提供的针对Python, NodeJS, go等不同环境的Slave镜像以及示例模板, 用户可以简单快速地生成Jenkins应用以及各种slave节点,在Jenkins应用中配置节点信息,然后在构建项目中指定执行节点,从而实现整个持续集成流程。

2.1 创建Jenkins编排模版

新建模版,以如下内容为基础,创建编排。(阿里云容器服务Jenkins master支持标签1.651.3, 2.19.2, 2.32.2)

jenkins:
    image: 'registry.cn-hangzhou.aliyuncs.com/acs-sample/jenkins:2.60.3'
    mem_limit: 4000000000
    volumes:
        - /var/lib/docker/jenkins:/var/jenkins_home
    restart: always 
    labels:
        aliyun.scale: '1'
        aliyun.probe.url: 'tcp://container:8080'
        aliyun.probe.initial_delay_seconds: '10'
        aliyun.routing.port_8080: jenkins
    links:
        - slave-java
slave-java:
    image: 'registry.aliyuncs.com/acs-sample/jenkins-slave-dind-java'
    volumes:
        - /var/run/docker.sock:/var/run/docker.sock
    restart: always 
    labels:
        aliyun.scale: '1'
        
        

2.2 使用模板创建Jenkins应用和slave节点

当然也可以直接使用阿里云容器服务提供的jenkins示例模版创建Jenkins应用和slave节点。
1
创建成功后,Jenkins应用和slave节点就出现在服务列表中。
2
打开容器服务提供的访问端点,就可以使用刚刚部署的Jenkins应用。
3

3. 实现自动测试,以及自动构建推送镜像

3.1 将slave容器配置成Jenkins应用的slave节点

打开Jenkins应用,进入系统设置界面,选择管理节点,新建节点,配置相应参数。如下图所示。
4
Note1: 标签为slave的唯一标识。
Note2: slave容器和Jenkins容器同时运行在阿里云平台上,因此填写外网访问不到的容器节点IP,隔离测试环境。
5
Note3: 添加Credential的时候,使用创建slave-nodejs镜像的Dockerfile里的jenkins帐户和密码(jenkins/jenkins)。
镜像Dockerfile地址:https://github.com/AliyunContainerService/jenkins-slaves/tree/master/jenkins-slave-dind-nodejs

3.2 创建项目实现自动化测试

新建Item,选择构建一个自由风格的软件项目。
填写项目名称,并选择项目运行节点,此示例填写上述准备的slave-nodejs-ut节点。
slaveut7
配置源码管理和代码分支,此示例中源代码使用GitHub管理。
slaveut8
配置构建触发器,此示例采用结合GitHub Webhooks & services实现自动触发项目执行。
slaveut9
最后在GitHub中添加Jenkins的service hook,完成自动触发实现。
在GitHub 项目主页点击settings tab,左侧菜单栏选择Webhooks & services, Add Service,下拉框中选择Jenkins(Git plugin)。
在Jenkins hook url对话框中填写${Jenkins IP}/github-webhook/, eg,

http://jenkins.cd****************.cn-beijing.alicontainer.com/github-webhook/

slaveut10
增加Execute shell类型的构建步骤,编写shell脚本执行测试。
slaveut11
本示例中的Command如下:


pwd
ls
cd chapter2
npm test

3.2-1 创建项目实现自动化测试(SVN代码源示例)

在源码管理模块选择Subversion。
Repository URL中填入svn repo地址。(如果Jenkins master时区和SVN服务器时区不一致,请在repo地址末尾添加 @HEAD
Credentials中添加svn服务器的用户名和密码。
svn1

配置构建触发器,此示例采用Post-commit hook实现自动触发项目执行。
在身份验证令牌中填写你设置的token。
svn2

登录SVN服务器,在代码repo(svn-java-demo)的hooks文件目录下创建post-commit文件。

cd /home/svn/svn-java-demo/hooks
cp post-commit.tmpl post-commit
chmod 755 post-commit

在 post-commit 文件中添加 curl -u ${Jenkins_account}:${password} ${Jenkins_url}/job/svn/build?token=${token} 命令。eg,curl -u test:test http://127.0.0.1:8080/jenkins/job/svn/build?token=qinyujia

3.3 创建项目实现自动构建,推送镜像

新建Item,选择构建一个自由风格的软件项目。
填写项目名称,并选择项目运行节点,此示例填写上述准备的slave-nodejs-ut节点。
配置源码管理和代码分支,此示例中源代码使用GitHub管理。
(由于以上三个步骤和章节2中类似,所以不再配图)
添加如下触发器,设置只有在单元测试成功之后才执行自动构建镜像。
slavebuild4
最后编写构建镜像和推送镜像的shell脚本。
slaveut12
本示例的Command如下:


cd chapter2
sudo docker build -t registry.aliyuncs.com/qinyujia-test/nodejs-demo .
sudo docker login -u ${yourAccount} -p ${yourPassword} registry.aliyuncs.com
sudo docker push registry.aliyuncs.com/qinyujia-test/nodejs-demo

4. 自动重新部署应用

4.1 首次部署应用

使用编排模板,将章节3中创建的镜像部署到容器服务中,创建nodejs-demo应用。示例如下:


express:
image: 'registry.aliyuncs.com/qinyujia-test/nodejs-demo'
expose:
    - '22'
    - '3000'
restart: always
labels:
    aliyun.routing.port_3000: express
    

4.2 自动重新部署

选择刚刚创建的应用nodejs-demo, 创建触发器。
_
在章节3.3的shell脚本中添加一行,地址即为上文创建的触发器给出的触发器链接。

curl ‘https://cs.console.aliyun.com/hook/trigger?triggerUrl=***==&secret=***’

把3.3中的示例的Command改为:


cd chapter2
sudo docker build -t registry.aliyuncs.com/qinyujia-test/nodejs-demo .
sudo docker login -u ${yourAccount} -p ${yourPassword} registry.aliyuncs.com
sudo docker push registry.aliyuncs.com/qinyujia-test/nodejs-demo
curl ‘https://cs.console.aliyun.com/hook/trigger?triggerUrl=***==&secret=***’

到此,镜像推送之后,Jenkins会自动触发重新部署nodejs-demo应用。

5. 配置邮件推送结果

如果希望单元测试或者镜像构建的结果能够通过邮件推送给相关开发人员或者项目执行发起者。可以通过如下配置来实现。
首先在Jenkins主页,选择系统管理,系统设置,配置Jenkins系统管理员邮箱。
email1
安装Extended Email Notification plugin,配置SMTP server等相关信息,并设置默认邮件接收人列表。如下图所示。
email2
以上是Jenkins应用系统参数设置,下面是为需要用邮件推送结果的Jenkins项目进行相关配置。
在Jenkins项目中添加构建后操作步骤,选择Editable Email Notification类型,填写邮件接收人列表。
email3
添加邮件发送触发器。
email4

6. 总结

利用Docker镜像和Compose模版,容器服务就能快速创建自动测试和构建的环境,简化持续集成的环境搭建和扩展。容器服务提供的监控,日志,存储等功能,进一步为用户提供方便统一,功能完善的各种环境管理。

感谢@莫源同学的大力支持!

想查看阿里云容器服务提供了哪些slave节点,请访问 https://github.com/AliyunContainerService/jenkins-slaves
想了解更多容器服务内容,请访问 https://www.aliyun.com/product/containerservice

相关实践学习
使用ACS算力快速搭建生成式会话应用
阿里云容器计算服务 ACS(Container Compute Service)以Kubernetes为使用界面,采用Serverless形态提供弹性的算力资源,使您轻松高效运行容器应用。本文将指导您如何通过ACS控制台及ACS集群证书在ACS集群中快速部署并公开一个容器化生成式AI会话应用,并监控应用的运行情况。
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
4月前
|
jenkins 持续交付 开发工具
利用Dockerfile自主构建Jenkins镜像
希望这个过程能善用你的野马般想象,把自己置身于和计算机的卓尔不凡的对话中,让编程的过程充满趣味。
165 36
|
7月前
|
缓存 运维 监控
Anolis OS深度集成运维利器 阿里云操作系统控制台上线
阿里云在百万服务器运维领域的丰富经验打造。
Anolis OS深度集成运维利器 阿里云操作系统控制台上线
|
7月前
|
网络协议 API Docker
Docker+consul容器服务的更新与发现
通过本文的介绍,我们详细探讨了如何结合Docker和Consul来实现容器服务的更新与发现。通过Consul的服务注册和发现功能,可以高效地管理和监控容器化服务,确保系统的高可用性和可扩展性。希望本文能帮助您在实际项目中更好地应用Docker和Consul,提高系统的可靠性和管理效率。
188 23
|
6月前
|
安全 持续交付 云计算
课时5:阿里云容器服务:最原生的集成Docker和云服务
阿里云容器服务以服务化形式构建容器基础设施,大幅提升开发效率,简化应用部署流程。通过Docker容器和DevOps工具(如Jenkins),实现自动化部署与迭代,优化企业内部复杂部署问题。该服务支持GPU调度、混合云架构无缝迁移,并与阿里云产品体系无缝集成,提供安全防护、网络负载均衡等多重功能支持。凭借微服务架构,帮助企业突破业务瓶颈,提高资源利用率,轻松应对海量流量。
229 0
课时5:阿里云容器服务:最原生的集成Docker和云服务
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
企业级API集成方案:基于阿里云函数计算调用DeepSeek全解析
DeepSeek R1 是一款先进的大规模深度学习模型,专为自然语言处理等复杂任务设计。它具备高效的架构、强大的泛化能力和优化的参数管理,适用于文本生成、智能问答、代码生成和数据分析等领域。阿里云平台提供了高性能计算资源、合规与数据安全、低延迟覆盖和成本效益等优势,支持用户便捷部署和调用 DeepSeek R1 模型,确保快速响应和稳定服务。通过阿里云百炼模型服务,用户可以轻松体验满血版 DeepSeek R1,并享受免费试用和灵活的API调用方式。
478 12
|
7月前
|
NoSQL MongoDB 数据库
使用 docker 快速搭建开发环境的 mongodb 服务
本指南介绍如何使用 Docker 和 Docker Compose 部署 MongoDB 和 Mongo Express。首先,通过 Docker 命令分别启动 MongoDB(镜像 `mongo:7.0.14`)和 Mongo Express(镜像 `mongo-express:1.0.2-20-alpine3.19`),并配置环境变量确保两者能正确连接。接着,提供了一个 `docker-compose.yaml` 文件示例,包含 MongoDB 数据卷、健康检查及服务依赖配置,简化多容器管理。
1155 2
|
7月前
|
人工智能 自然语言处理 搜索推荐
阿里云 AI 搜索开放平台集成 DeepSeek 模型
阿里云 AI 搜索开放平台最新上线 DeepSeek -R1系列模型。
360 2
|
8月前
|
Linux Docker 容器
Linux 中停止 Docker 服务报 warning 导致无法彻底停止问题如何解决?
在 Linux 系统中,停止 Docker 服务时遇到警告无法彻底停止的问题,可以通过系统管理工具停止服务、强制终止相关进程、检查系统资源和依赖关系、以及重置 Docker 环境来解决。通过以上步骤,能够有效地排查和解决 Docker 服务停止不彻底的问题,确保系统的稳定运行。
580 19
|
10月前
|
安全 Java API
【三方服务集成】最新版 | 阿里云短信服务SMS使用教程(包含支持单双参数模板的工具类,拿来即用!)
阿里云短信服务提供API/SDK和控制台调用方式,支持验证码、通知、推广等短信类型。需先注册阿里云账号并实名认证,然后在短信服务控制台申请资质、签名和模板,并创建AccessKey。最后通过Maven引入依赖,使用工具类发送短信验证码。
4446 3
【三方服务集成】最新版 | 阿里云短信服务SMS使用教程(包含支持单双参数模板的工具类,拿来即用!)
|
10月前
|
存储 Prometheus 运维
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案。该集成结合了ARMS的基础设施监控能力和Prometheus的灵活配置及社区支持,实现了全面、精准的系统状态、性能和错误监控,提升了应用的稳定性和管理效率。通过统一的数据视图和高级查询功能,帮助企业有效应对云原生挑战,促进业务的持续发展。
254 3

相关产品

  • 容器计算服务
  • 容器服务Kubernetes版