基于jenkins结合svn、ansible、shell和mysql版本迁移实现多服务器批量发布

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

hello,大家好! 由于工作原因,本篇博文迟迟没有发布上来,在此深表歉意!因宅鸟作为一个老鸟,还有很多东西需要和大家分享,所以宅鸟有意将本篇博文作为Jenkins持续集成自动测试部署系列的收尾之篇,关于这方面的话题,有感兴趣的同学可以线下交流分享。

废话不在多说,本篇是在上篇 基于Jenkins 实现php项目的自动化测试、自动打包和自动部署 基础上,更深一层更具有实战性质,完全是线上环境.本篇有一点难度,如果有看不懂的同学请从本系列第一篇读起,如果有条件的同学可以自己搭建环境动手试试。由于本篇需要包含的内容比较多,所以某些细节不会再啰嗦。


由于生产环境下网络拓扑比较复杂,下面宅鸟给出一个简化版的网路拓扑图.

wKiom1LU7oDQweUTAAD41jMNR-s511.jpg


如果所示,我们目前有的资源是分别是:

公司内网:

1 svn server 代码版本库

2 jenkins 持续集成服务器

公司公网服务器资源:

webserver1 公网测试服务器

webserver2,webserver3公网正式服务器

db1,db2公网正式db


拿到这些资源我们该怎么规划部署我们的webapp到这些服务器呢?

我们以phpweb为例,假设所有webserver都已经安装好lnmp环境,dbserver已经安装好mysql环境


需要注意一点,boss要求所有公网生产服务器必须通过跳板机登录,并且所有部署到生产服务器的代码都需要在svn源码库和线上服务器上都有历史记录,一旦程序发布后,有问题,可以方便回滚到之前稳定版本


在这种清空下,我们该如何规划部署我们的程序呢?


下面宅鸟给出自己的解决方案:(本例以cms系统为例)

1、在Jenkins系统中创建一个deploy_cmsv4_to_dev的job,在该jobs配置中添加svn源代码地址,通过自动化单元集成测试后,打包,然后通过Jenkins发布到测试服务器webserver1上,然后再进行人工测试,确定无误后,再在jenkins上给本次构建打tag,并在tag上注明版本日期等。

2、在Jenkins系统中再创建一个deploy_cmsv4_to_production的项目,该job发布时,引用刚已在deploy_cmsv4_to_dev的job中已经打好的tag,然后通过Jenkins把程序打包通过ssh上传到指定目录,然后通过跳板机把程序包发布到正式公网服务器(跳板机上需要安装自动化部署工具ansible,进行实现批量部署功能)。


关于ansible的安装在此不做详解。有感兴趣的同学可点击这里,但需要注意的是需要配置好跳板机到公网上服务器上ssh免密码登录,以及在ansible的配置中添加公网webServerIp地址列表.

这里只做技术交流与分享,本篇涉及到公司公网ip地址以及涉及商业机密的地方均使用画图工具遮盖,给各位同学带来不阅读不便,深表歉意!


下面开始宅鸟的部署之旅:


第一步开始创建一个自由风格的到测试服务器上的job:deploy-cmsv4-to-dev ,进入配置界面 如图:



wKioL1LVEnHxsUH9AAF4entEkCk790.jpg



在源码管理下选择Subversion:

添加上项目svn地址如图:

wKioL1LVEs6iRY7GAAD5qDciY8k475.jpg


然后在增加构建步骤中选择Invoke Phing targets:

添加自动测试和打包的target,target名称对应项目根目录下的build.xml文件

wKiom1LVFH2wtbp5AAJzP9cqPT8178.jpg


然后在 增加构建步骤 中选择 Send files or execute commands over SSh:


wKioL1LVFWbR8XxpAALgp3MgrmM146.jpg


最后 在 增加构建后操作步骤 中 选择:Archive the artifacts  存档打包文件:

wKioL1LVFgSDDCGsAACDC0F7rkc821.jpg

配置完毕后,我们就可以构建本job.

点击左上侧“立即构建”:

我们就可以看到一个job开始执行,完毕后查看查看控制台输出结果如图所示:


wKioL1LV6MuzwRMVAAM7OE-vuZ8665.jpg


然后登录测试服务器webserver1上到发布的目录下查看是结果如图:

注意:last本次发布上一个版本

wKioL1LV6d-w12OhAAC2HAke9v4866.jpg


该项目中所有的配置文件(包括db,webapp,crontab,nginx等)均使用软连从程序目录config下链接过来的.

如图展示数据库迁移的配置文件的链接,其它配置文件亦是如此,不在啰嗦.

wKiom1LV7Ofi9hVtAACaxxfLB_4839.jpg



下面来看一下程序发布的历史版本列表:

wKiom1LV7miRCSPEAAFdI15tDmA992.jpg


到此,公网测试服务器web程序发布完毕,然后就进入人工测试,测试通过后,就可以在jenkins服务器上给本次构建打tag然后就可以发到公网服务器了。

在jenkins上给job打tag此处略去,给大家看一下宅鸟之前在发布程序时所打过的tag,如下图所示,右边显示wKioL1LV8SfDpci1AAAFzTr63FA762.jpg标记的表示已打tag。


wKioL1LV8NOxwd9EAADHgOnjPlk767.jpg



下面我们开始介绍公网服务器程序的发布过程:

第一步、建一个自由风格的job名字为deploy-cmsv4-to-production

在job配置中选中"构建化参数过程"复选框

wKioL1LV9NWS7JLKAAC_9_r3YP0040.jpg

选择 List Subversion tags(and more),然后填写svn地址等如下信息

wKioL1LV9R7CkHysAAFY6VS59x8954.jpg



然后再添加一个choice ,添加我们需要部署的服务器组,该地方的组名称需要在 跳板机的ansible配置文件中指定,并且给部署组指定一组webserver ip列表

wKioL1LV-zvgPxQiAACfujrbt6w027.jpg



wKioL1LV-8vQUCZFAAA7zp-0VTM770.jpg

注:Choices可以添加多个服务器组(在ansible中指定,这里我们在cms_app_servers名称下指定了三台linux服务器做为webserver).



在源代码管理中填写如下配置:


wKiom1LV9dvxpMOIAADODbK-H3A731.jpg

下面再增加打包targets:

wKiom1LV9iWyt6_mAAElYmkQIJQ627.jpg



再添加发布步骤: 选择 "send file or execute commands over SSH"

wKioL1LV-jjgo2xKAAECAgm4Uyc373.jpg


wKiom1LV-nqzcB8VAANpFSRrFxM146.jpg


最后存档:

wKioL1LV_U_zDs6pAAHTOalpAwE289.jpg


wKiom1LV_XbCqYkdAABjJ3u1D8U094.jpg

到此,生产服务器部署配置已经完成,下面就可以发布了。

选择Jenkins左上方的 "Build with Parameters"

如图显示,上面的下拉菜单是 我们已经打好的tag列表,下面是部署服务器群组列表:

wKiom1LWAhbzz8oXAAEYLwxr8Y4177.jpg


然后点击"开始构建" jenkins就会按照我们事配置好的项,开始发布web程序了。

在控制台输出信息中最后一行出现“Finished: SUCCESS”,表示发布已经成功。这样我们可以登录到生产服务器上查看我们已发布的程序。


数据库升迁版本列表: 关于mysql迁移 不熟悉的同学可参看 宅鸟的另一篇博文:Mysql迁移工具在生产环境下的使用


wKioL1LWKF2gZXVfAAMNrow_qj0134.jpg


wKiom1LWBbHgpm_VAAMuKb3ZuXk866.jpg



我们通过跳板机到服务器下去:

先登录到cms-app-1,然后到网站目录下查看通过ls -l |grep cmsv4命令查看结果如图:

wKioL1LWB-yDeFv0AACIu-B25xU255.jpg


登录到cms-app-2,结果同cms-app-1如图:

wKiom1LWCCyRCC3FAACcO-WXAhM917.jpg


我们再检查一下nginx的配置:

wKioL1LWCVCBpTK1AACN76K-JMc749.jpg

再登录到cms-app-3 结果亦然,至此我们的程序已经发布完毕。


仔细阅读的同学可能已经注意到在deploy-cmsv4-to-dev&deploy-cmsv4-to-production -> configure "Send files or execute commands over SSH"的"Exec command" 文本列表最后一条shell命令:

cmsv4.${BUILD_NUMBER}.${BUILD_ID}/config/install.sh  ${BUILD_NUMBER} ${BUILD_ID}

这个config文件夹下的install.sh脚本,是宅鸟根据自己公司的业务要求逻辑自己编写的,有兴趣的同学可以自己试着根据自己公司的业务需求自己编写以实现需求



在此宅鸟给出一个install的简单实例(假设我们的项目名为myweb):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
#!/bin/bash
#created by lihuibin
#date 2014-01-15
#deploy web app to production install script
build_number=$1
build_id=$2
db_version= "max_version"
myweb_path= /webdir/myweb/myweb .$build_number.$build_id
#项目配置文件
config_path=$myweb_path /config .php
ln  -s $myweb_path /config/config .php  $config_path
#crontab
ln  -s   $myweb_path /config/crontab .txt   /etc/cron .d /myweb
#初始化数据库,如果数据库不存在则自动创建
/usr/bin/php  $myweb_path /mysqlMigrations/migrate .php init
if  [ $? - ne  0 ]; then
   echo  "db version table init:" $?
   exit  1
fi
#列出线上数据库版本
/usr/bin/php  $myweb_path /mysqlMigrations/migrate .php list
if  [ $? - ne  0 ]; then
   echo  "db version list:" $?
   exit  1
fi
#更新数据库到最大版本
/usr/bin/php  $myweb_path /mysqlMigrations/migrate .php  up $db_version
if  [ $? - ne  0 ]; then
   echo  "db update:" $?
   exit  1
fi
#查看迁升后数据库版本列表,及当前数据库版本
/usr/bin/php  $myweb_path /mysqlMigrations/migrate .php list
#web切换,给老版本改名,并且新版本程序接手老版本程序开始工作
web_path= "/htdocs/myweb"
uploads= '/webdir/myweb/uploaded'
if  [ -L $web_path ]; then
   ln  -sfn $(readlink -f  "/htdocs/myweb" "/htdocs/myweb_last"
   ln  -sfn  $myweb_path $web_path
   echo  "$myweb_path   $web_path  ln -s  :" $?
else
   if  [ -d $web_path ]; then
       mv  -f $web_path "/uploaded"  $uploads
       mv  -f $web_path  "/webdir/myweb/myweb_lagacy"
       ln  -sfn  $myweb_path $web_path
       ln  -sfn  "/webdir/myweb/myweb_lagacy"  "/htdocs/myweb_last"
   else
     ln  -s  $myweb_path $web_path
     if  [ ! -d  "$uploads"  ];  then
         mkdir  -p $uploads
         chown  -R www-data:www-data  $uploads
     fi
   fi
fi
ln  -s  $uploads $myweb_path /uploaded
#赋权限
chown  -R www-data:www-data  $myweb_path
#重新加载php5-fpm
/etc/init .d /php5-fpm  reload
#nginx应用新配置
nginx= /etc/nginx/sites-enabled/myweb .conf
if  [ -f $nginx ]; then
  rm  $nginx
fi
ln  -s $myweb_path /config/myweb .conf $nginx
#nginx加载新配置
/etc/init .d /nginx  reload
#删除临时文件
rm  -rf  /tmp/myweb .*
echo  "/tmp/myweb.* rm -rf:" $?

好了,关于宅鸟的部署系列博文到此告一段落。还有更多关于持续集成发布以及jenkins与git的集成等方面的话题,有机会再聊一聊。



本文转自birdinroom 51CTO博客,原文链接:http://blog.51cto.com/birdinroom/1351875,如需转载请自行联系原作者

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4月前
|
弹性计算 Linux Windows
跨账号和同账号的ECS云服务器之间迁移教程
跨账号和同账号的ECS云服务器之间迁移教程
|
1月前
|
安全 大数据 Linux
云上体验最佳的服务器操作系统 - Alibaba Cloud Linux | 飞天技术沙龙-CentOS 迁移替换专场
本次方案的主题是云上体验最佳的服务器操作系统 - Alibaba Cloud Linux ,从 Alibaba Cloud Linux 的产生背景、产品优势以及云上用户使用它享受的技术红利等方面详细进行了介绍。同时,通过国内某社交平台、某快递企业、某手机客户大数据业务 3 大案例,成功助力客户实现弹性扩容能力提升、性能提升、降本增效。 1. 背景介绍 2. 产品介绍 3. 案例分享
|
3月前
|
弹性计算 监控 数据库
制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程
本文通过一个制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程,展示了企业级应用上云的实践方法与显著优势,包括弹性计算资源、高可靠性、数据安全及降低维护成本等,为企业数字化转型提供参考。
88 5
|
4月前
|
弹性计算 Linux 数据库
阿里云国际版如何迁移Linux云服务器系统盘中的数据
阿里云国际版如何迁移Linux云服务器系统盘中的数据
|
4月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
140 3
|
4月前
|
Apache 数据中心 Windows
将网站迁移到阿里云Windows系统云服务器,访问该站点提示连接被拒绝,如何处理?
将网站迁移到阿里云Windows系统云服务器,访问该站点提示连接被拒绝,如何处理?
|
4月前
|
弹性计算 网络协议 Linux
云服务器评估迁移时间与测试传输速度
云服务器评估迁移时间与测试传输速度
|
2天前
|
存储 机器学习/深度学习 人工智能
2025年阿里云GPU服务器租用价格、选型策略与应用场景详解
随着AI与高性能计算需求的增长,阿里云提供了多种GPU实例,如NVIDIA V100、A10、T4等,适配不同场景。2025年重点实例中,V100实例GN6v单月3830元起,适合大规模训练;A10实例GN7i单月3213.99元起,适用于混合负载。计费模式有按量付费和包年包月,后者成本更低。针对AI训练、图形渲染及轻量级推理等场景,推荐不同配置以优化成本和性能。阿里云还提供抢占式实例、ESSD云盘等资源优化策略,支持eRDMA网络加速和倚天ARM架构,助力企业在2025年实现智能计算的效率与成本最优平衡。 (该简介为原文内容的高度概括,符合要求的字符限制。)
|
3天前
|
存储 弹性计算 人工智能
2025年阿里云企业云服务器ECS选购与配置全攻略
本文介绍了阿里云服务器的核心配置选择方法论,涵盖算力需求分析、网络与存储设计、地域部署策略三大维度。针对不同业务场景,如初创企业官网和AI模型训练平台,提供了具体配置方案。同时,详细讲解了购买操作指南及长期运维优化建议,帮助用户快速实现业务上云并确保高效运行。访问阿里云官方资源聚合平台可获取更多最新产品动态和技术支持。
|
6天前
|
弹性计算 JavaScript 前端开发
一键安装!阿里云新功能部署Nodejs环境到ECS竟然如此简单!
Node.js 是一种高效的 JavaScript 运行环境,基于 Chrome V8 引擎,支持在服务器端运行 JavaScript 代码。本文介绍如何在阿里云上一键部署 Node.js 环境,无需繁琐配置,轻松上手。前提条件包括 ECS 实例运行中且操作系统为 CentOS、Ubuntu 等。功能特点为一键安装和稳定性好,支持常用 LTS 版本。安装步骤简单:登录阿里云控制台,选择扩展程序管理页面,安装 Node.js 扩展,选择实例和版本,等待创建完成并验证安装成功。通过阿里云的公共扩展,初学者和经验丰富的开发者都能快速进入开发状态,开启高效开发之旅。

推荐镜像

更多