最小化DevOps自动化流程(Golang)

简介: Why?为什么要做自动化流程?在开发过程中,我们在本地机器上做开发,完成一次功能迭代之后,如何发布到远程产品服务器一直是个很头疼的问题。最通常的做法就是使用(S)FTP把代码(或者代码压缩包)覆盖到服务器上。
  • Why?

为什么要做自动化流程?

在开发过程中,我们在本地机器上做开发,完成一次功能迭代之后,如何发布到远程产品服务器一直是个很头疼的问题。最通常的做法就是使用(S)FTP把代码(或者代码压缩包)覆盖到服务器上。这样的做法虽然“直截了当”,但是容易出错,而且全程需要人为干预。(笔者亲历过其他项目部门的负责人过来求助,说发布时拷贝代码到服务器的过程中,服务器突然宕机没有反应。)所以我们需要一种方式帮助我们完成代码发布的整个过程。有非常多的第三方工具帮助我们实现流程自动化的目的。
我们要完成的目标是:1,无人干预;2,缩短发布时间,减少发布时期存在的风险;3,增加项目迭代效率。

  • What?

用什么工具来做自动化流程?

git, github(gitlab)

  • When?

在什么时机下创建自动化流程?

理论上是在第一次发布项目到服务器之前就需要做自动化流程。但是根据迭代开发的思想,我们在创建项目的时候就应该开始着手创建自动化流程。

  • How?

如何创建一个最小化的自动化流程?

我们通过三部实现开发部署流程自动化。

  1. 创建版本仓库

笔者使用Gitlab创建一个名为DevOps的私有仓库.
img_6372424582df82e68816696d7bb1122b.png
new gitlab repo

接着clone 远程仓库到本地开发机器.
如果你还没有创建任何项目代码文件。此时可以使用命令:

git clone git@gitlab.com:EdisonLeung/devops.git
cd devops
touch README.md
git add README.md
git commit -m "add README"
git push -u origin master 

如果您已经开始了本地机器上的编码工作,此时可以在项目目录下使用命令:

git init
git remote add origin git@gitlab.com:EdisonLeung/devops.git
git add .
git commit -m "Initial commit"
git push -u origin master

如果您不光在本地开始了编码工作,同时在本地已经创建了git仓库.此时可以在项目目录下使用命令:

git remote rename origin old-origin
git remote add origin git@gitlab.com:EdisonLeung/devops.git
git push -u origin --all
git push -u origin --tags

最后在服务器clone我们的版本仓库(记得添加服务器SSH Key到Gitlab):

cd ~/www
git clone git@gitlab.com:EdisonLeung/devops.git

clone完成:

root@aliyun:~/www# git clone git@gitlab.com:EdisonLeung/devops.git
Cloning into 'devops'...
remote: Enumerating objects: 3, done.
remote: Counting objects: 100% (3/3), done.
remote: Total 3 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (3/3), done.

目前我们从项目开发到项目部署有三个动作要手动做:
a) 本地机器git push到远程仓库
b) 远程服务器git pull拉去远程仓库版本
c) 重启webserver服务
第二步我们就要将这三个动作自动化。

  1. 创建自动化部署脚本

创建deploy目录,并创建两个文件,main.go和deploy.sh:


img_5ddd037e5f93a3e36e7b93ce012fe358.png
目录结构

deploy.go

package main

import (
    "io"
    "log"
    "net/http"
    "os/exec"
)

func relaunching() {
    cmd := exec.Command("sh", "./deploy.sh")
    err := cmd.Start()
    if err != nil {
        log.Fatal(err)
    }
    err = cmd.Wait()
}

func restart(w http.ResponseWriter, r *http.Request) {
    io.WriteString(w, "<h1>deploy server: restarting webserver...</h1>")
    relaunching()
    io.WriteString(w, "<h1>deploy server: webserver restarted!</h1>")
}

func main() {
    http.HandleFunc("/", restart)
    http.ListenAndServe(":5000", nil)
}

当服务器5000端口被访问时,http.HandleFunc会创建路由调用restart函数relaunching函数,调用过程中在浏览器输出启动过程.
最终relaunching函数调用命令行deploy.sh来重启webserver.
deploy.sh脚本内容如下:

#! /bin/sh

kill -9 $(pgrep webserver)
cd ~/www/devops
git pull git@gitlab.com:EdisonLeung/devops.git
./webserver &

再创建一个main.go来启动一个最小web页面:


img_2e932d8bc07b0b462e92112a7efb70ff.png
webserver main.go

代码示例如下:

package main

import (
    "io"
    "net/http"
)

func index(w http.ResponseWriter, r *http.Request) {
    io.WriteString(w, "<h1>This is Index Page!</h1>")
}

func main() {
    http.HandleFunc("/", index)
    http.ListenAndServe(":8080", nil)
}

注意:这里的http监听端口号要与deploy.go内的端口号区别开,不能是相同端口号,不然会有端口冲突造成服务不能启动!

这时的代码架构就完成了,下面我们来编译发布代码:
因为我们在本地机器环境编译代码,所以对于异构系统来说,go语言为我们提供了相应的参数来针对不同的操作系统和架构进行代码的编译:
因为服务器所采用的是linux amd64的系统,所以编译命令的环境变量如下:
main.go编译生成webserver

env GOOS=linux GOARCH=amd64 go build -o webserver

进入deploy目录编译生成deploy

env GOOS=linux GOARCH=amd64 go build

输出的文件如图:


img_c76dcd712c7a7dca7edfb7863b6992d1.png
编辑结果

下面我们提交项目:
进入DevOps根目录

git add .
git commit -m "basic automatic publishing feature."
git push origin master

提交结果:

Counting objects: 8, done.
Delta compression using up to 4 threads.
Compressing objects: 100% (8/8), done.
Writing objects: 100% (8/8), 5.03 MiB | 1.21 MiB/s, done.
Total 8 (delta 1), reused 0 (delta 0)
To gitlab.com:EdisonLeung/devops.git
   91e5396..c9c087f  master -> master

接下来就要进入服务器拉去最新版本代码并发布。
登录远程服务器拉取代码:

root@aliyun:~/www/devops# git pull
remote: Enumerating objects: 9, done.
remote: Counting objects: 100% (9/9), done.
remote: Compressing objects: 100% (8/8), done.
remote: Total 8 (delta 0), reused 0 (delta 0)
Unpacking objects: 100% (8/8), done.
From gitlab.com:EdisonLeung/devops
   91e5396..c9c087f  master     -> origin/master
Updating 91e5396..c9c087f
Fast-forward
 deploy/deploy    | Bin 0 -> 6594124 bytes
 deploy/deploy.go |  28 ++++++++++++++++++++++++++++
 deploy/deploy.sh |   6 ++++++
 main.go          |  15 +++++++++++++++
 webserver        | Bin 0 -> 6498848 bytes
 5 files changed, 49 insertions(+)
 create mode 100755 deploy/deploy
 create mode 100644 deploy/deploy.go
 create mode 100644 deploy/deploy.sh
 create mode 100644 main.go
 create mode 100755 webserver

将deploy目录拷贝至用户根目录:
cp -r ~/www/devops/deploy/* ~/
启动webserver和deploy service:

cd ~
./www/devops/webserver &
./deploy &

打开浏览器查看结果显示:


img_a010c17cf92250fc6ee0231985a1c491.png
webserver result
img_d9edf0631822b50b14d54cf3e16231d4.png
deploy service result

两个服务均启动成功了!
注意1.两个服务启动前,先用以下命令查看是否有相同服务正在运行,如果有,先将其kill掉:
$ps aux | grep webserver
$kill [pid]
注意2.使用chmod命令给服务程序和脚本提权:
chmod a+x webserver

  1. 自动获取版本推送事件webhook

我们将部署触发的地址添加到远程版本仓库的webhook中,如图:

img_fab1f5caf716fb628f0b341c448431f2.png
webhook

webhook添加完成:
img_af256b1d0f60e8efdcf621a47aadae29.png
webhook

下面我们验证一下这个简单的自动化流程的效果。
我们把显示的文本改为"This is the Index Page2".
img_015e33cbdb2c32b43d03e2c4e12f8092.png
change code

然后编译提交
img_d782c236f0ddb47270fb2a732b32066b.png
编译提交

查看结果:
img_0217f952d1aa054c4002d1311ebaa410.png
发布迭代成功

文章中提到的做法仅仅是抛砖引玉,实现使用Golang是因为语言结构上简短精悍,更容易理解流程,如果您使用其他语言,例如python,php等都可以用相同的方式实现。同时流程上仅关注自动化的过程,开发编译的整个过程都在本地进行,服务端没有提到任何反向代理的服务及运行环境、虚拟环境的配置,因为在虚拟化环境下这些做法会有很多变化,很多情况下完全没有必要做,或者很少去做。更没有必要像目前这样自己去实现自动化流程。如果没有虚拟化实现自动化流程的经验,直接上手虚拟化,还没有很深入理解的情况下,在虚拟化环境下做DevOps及微服务架构,会给自己带来很大的困惑。具体这些将会在后续的文章中提到。

相关文章
|
13天前
|
监控 虚拟化 云计算
从物理到云:使用自动化工具简化服务器迁移流程
【10月更文挑战第4天】随着云计算的快速发展,越来越多的企业选择将物理服务器迁移到云环境以提高效率和降低成本。本文详细介绍了使用自动化工具简化从物理到云的服务器迁移流程的技术实现细节,并提供了代码示例。
46 6
|
17天前
|
运维 Devops jenkins
DevOps实践:自动化部署与持续集成的实现之旅
本文旨在通过一个实际案例,向读者展示如何将DevOps理念融入日常工作中,实现自动化部署和持续集成。我们将从DevOps的基础概念出发,逐步深入到工具的选择、环境的搭建,以及流程的优化,最终实现一个简单而高效的自动化部署流程。文章不仅提供代码示例,更注重于实践中的思考和问题解决,帮助团队提高软件开发和运维的效率。
|
10天前
|
运维 监控 Devops
DevOps实践:自动化部署与持续集成的融合之旅
【10月更文挑战第7天】在软件开发领域,DevOps已成为一种文化和实践,它倡导开发(Dev)与运维(Ops)之间的协作与整合。本文将引导读者了解如何通过自动化部署和持续集成(CI)的实践来提升软件交付的速度和质量。我们将探讨一些实用的工具和技术,以及它们是如何帮助团队高效地管理代码变更、测试和部署的。文章将不包含代码示例,但会详细解释概念和流程,确保内容的通俗易懂和条理性。
114 62
|
10天前
|
运维 监控 Devops
DevOps实践:持续集成与部署的自动化之旅
【10月更文挑战第7天】在软件开发领域,DevOps已成为提升效率、加速交付和确保质量的关键策略。本文将深入探讨如何通过实施持续集成(CI)和持续部署(CD)来自动化开发流程,从而优化运维工作。我们将从基础概念入手,逐步过渡到实际操作,包括工具选择、流程设计以及监控和反馈机制的建立。最终,我们不仅会展示如何实现这一自动化流程,还会讨论如何克服常见的挑战,以确保成功实施。
50 9
|
10天前
|
人工智能 运维 Devops
自动化运维之路:从脚本到DevOps的转变
【10月更文挑战第7天】在这篇文章中,我们将一起探索自动化运维的演变历程,从最初的简单脚本到现代的DevOps实践。我们将深入理解自动化如何改变了运维工作的本质,并讨论实现这一转变的关键技术和策略。文章将不包含代码示例,而是聚焦于理念、工具和方法论的介绍,旨在为读者提供一个全面的自动化运维框架视图。
|
6天前
|
缓存 监控 数据可视化
利用GitLab CI/CD自动化您的软件开发流程
【10月更文挑战第10天】GitLab CI/CD 是 GitLab 内置的持续集成和持续部署工具,通过编写 .gitlab-ci.yml 文件,可以自动化构建、测试和部署应用程序的过程。本文介绍 GitLab CI/CD 的核心优势、实施步骤及在现代开发中的应用,帮助您提高开发效率和软件质量。
|
11天前
|
运维 监控 Devops
自动化运维的魔法:打造高效DevOps流水线
【10月更文挑战第6天】 在现代软件开发的快节奏中,自动化运维成为提高效率、保障质量的重要手段。本文将带你了解如何构建高效的DevOps流水线,从持续集成到部署,再到监控和反馈,我们将一步步揭开自动化运维的神秘面纱。你将学习到如何通过代码和工具的结合,实现软件交付过程的自动化,以及如何通过这一流程提升团队的协作和响应速度。让我们开始探索自动化运维的奇妙之旅吧!
|
20天前
|
运维 Devops jenkins
DevOps实践:自动化部署与持续集成的实现
【9月更文挑战第36天】本文通过深入浅出的方式,向读者展示了在现代软件开发中,DevOps如何通过自动化部署和持续集成提高开发效率和软件质量。文章不仅介绍了相关概念,还提供了实用的代码示例,帮助读者理解如何在实际工作中应用这些技术。
|
5天前
|
监控 关系型数据库 MySQL
PowerShell 脚本编写 :自动化Windows 开发工作流程
PowerShell 脚本编写 :自动化Windows 开发工作流程
12 0
|
10天前
|
机器学习/深度学习 人工智能 开发框架
企业内训|AI赋能流程自动化,打造专属数字员工-某央企运营商
本次内训由TsingtaoAI公司为某央企运营商设计,针对约120名培训负责人及管理员,旨在深入理解AI技术在流程自动化中的应用,探索数字员工的构建与企业培训流程的智能化升级。课程涵盖大模型技术、主流模型应用、数字员工定义与价值、实施策略及落地方法等内容。
40 0