经典的运维脚本三步曲

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 无论是应用运维,还是数据库运维,均可以分为“人肉”-“自动化”-“智能化”阶段,其中自动化阶段,主要是将一些人做的操作,尤其是一些重复性操作,封装为程序,一方面避免重复性操作,另一方面提高执行效率。

无论是应用运维,还是数据库运维,均可以分为“人肉”-“自动化”-“智能化”阶段,其中自动化阶段,主要是将一些人做的操作,尤其是一些重复性操作,封装为程序,一方面避免重复性操作,另一方面提高执行效率。自动化实现的过程中,经常使用的,可能就是shell脚本了,前段时间,从一个微信公众号,学习了赵班长写的一篇小文,循序渐进的方式,介绍了shell运维脚本的编写,小脚本有大智慧,几十行代码,夹杂着系统设计、代码规范等细节,值得学习。


以下脚本参考的原文:《如何不耍流氓的做运维之-SHELL脚本》,用shell脚本模拟mysql备份过程,循序渐进的三个脚本。


脚本一:记录日志的shell脚本,shell_template_1.sh


#!/bin/bash

SHELL_NAME="shell_template_1.sh"
SHELL_DIR="/home/oracle/scripts/shell"
SHELL_LOG="${SHELL_DIR}/${SHELL_NAME}.log"

shell_log() {
        LOG_INFO=$1
        echo "$(date "+%Y-%m-%d") $(date "+%H-%M-%S") : ${SHELL_NAME} : ${LOG_INFO}" >> ${SHELL_LOG}
}

shell_log "shell beginning, write log test"
shell_log "sehll success, write log test"


负责打印日志的函数,shell_log(),接受第一个参数,作为需要打印的日志内容,shell_log()中定义了日志输出的格式(年-月-日 时-分-秒 : 脚本名称 : 日志内容),日志文件路径,则由$SHELL_LOG变量定义。


执行shell_template_1.sh,生成日志文件shell_template_1.sh.log,

vi shell_template_1.sh.log

2017-10-11 11-34-39 : shell_template_1.sh : shell beginning, write log test
2017-10-11 11-34-39 : shell_template_1.sh : sehll success, write log test




脚本二:直接执行的脚本很危险,要提示用户如何使用脚本,shell_template_2.sh


#!/bin/bash

SHELL_NAME="shell_template_2.sh"
SHELL_DIR="/home/oracle/scripts/shell"
SHELL_LOG="${SHELL_DIR}/${SHELL_NAME}.log"

shell_log() {
        LOG_INFO=$1
        echo "$(date "+%Y-%m-%d") $(date "+%H-%M-%S") : ${SHELL_NAME} : ${LOG_INFO}" >> ${SHELL_LOG}
}

shell_usage() {
        echo $"USAGE: $0 {backup}"
}

mysql_backup() {
        shell_log "mysql backup start"
        shell_log "mysql backup stop"
}

main() {
        case $1 in
                backup)
                        mysql_backup
                        ;;
                *)

                        shell_usage;
        esac
}

main $1


shell_template_2.sh相比shell_template_1.sh,增加了如下,

1. shell_usage()函数,用于说明脚本使用方法,即“shell_template_2.sh 跟着backup参数”。

2. 主函数中则判断,若参数是backup,则执行mysql_backup(),否则执行shell_usage()函数,提示用户正确的使用方法。


错误的执行,

sh shell_template_2.sh
USAGE: shell_template_2.sh {backup}


正确的执行,

sh shell_template_2.sh backup


日志显示,

vi shell_template_2.sh.log
2017-10-11 11-35-37 : shell_template_2.sh : mysql backup start
2017-10-11 11-35-37 : shell_template_2.sh : mysql backup stop




脚本三:避免多人同时执行脚本,需要增加锁机制,shell_template_3.sh


!/bin/bash

SHELL_NAME="shell_template_3.sh"
SHELL_DIR="/home/oracle/scripts/shell"
SHELL_LOG="${SHELL_DIR}/${SHELL_NAME}.log"
LOCK_FILE="/home/oracle/scripts/shell/${SHELL_NAME}.lock"

shell_log() {
        LOG_INFO=$1
        echo "$(date "+%Y-%m-%d") $(date "+%H-%M-%S") : ${SHELL_NAME} : ${LOG_INFO}" >> ${SHELL_LOG}
}

shell_usage() {
        echo $"USAGE: $0 {backup}"
}

shell_lock() {
        touch ${LOCK_FILE}

}


shell_unlock() {
        rm -f ${LOCK_FILE}
}

mysql_backup() {
        if [ -f "${LOCK_FILE}" ]; then
                shell_log "${SHELL_NAME} is running"
                echo "${SHELL_NAME}" is running && exit
        fi
        shell_log "mysql backup start"
        shell_lock
        sleep 10
        shell_log "mysql backup stop"
        shell_unlock
}

main() {
        case $1 in
                backup)
                        mysql_backup
                        ;;
                *)
                        shell_usage;
        esac
}


main $1


shell_template_3.sh相比shell_template_2.sh,增加了如下,

1. 增加shell_lock()函数,用于touch一个文件,作为文件锁。

2. 增加shell_unlock()函数,用于删除1创建的锁文件。

3. mysql_backup()函数需要判断是否存在LOCK_FILE,若存在说明有用户正执行,此时提示信息,并退出程序,若不存在文件LOCK_FILE,则执行shell_lock创建锁文件,sleep 10秒,模拟执行,结束前执行shell_unlock,删除锁文件完成,此时其他用户可以执行。


用户A执行脚本,

sh shell_template_3.sh backup

sleep 10秒


用户B在10秒内,执行脚本,提示报错信息,并退出执行,

sh shell_template_3.sh backup;
shell_template_3.sh is running


日志显示,

vi shell_template_3.sh.log

2017-10-11 11-42-03 : shell_template_3.sh : mysql backup start  --用户A记录

2017-10-11 11-42-08 : shell_template_3.sh : shell_template.sh is running  --用户B记录

2017-10-11 11-42-13 : shell_template_3.sh : mysql backup stop  --用户A记录


如果再做规范些,可以加上注释,

######################################################
# $Name:        shell_template.sh
# $Version:     v1.0
# $Function:    Backup MySQL Databaes Template Script
# $Author:      Bisal
# $Create Date: 2017-10-11
# $Description: shell
######################################################




总结:

通过以上三个脚本,经历了“日志记录输出” -> “增加脚本执行的方法说明,并通过传递参数,避免直接执行脚本的风险” -> “利用文件锁,增加了锁机制,避免多人同时执行脚本,带来的可能风险”,这三个阶段,再加上注释,逐步完善,我们可以从中,汲取一些经验,

1. 编写shell经常是面向过程的,但用函数封装,可以让脚本清晰可读。

2. 通过文件锁机制,可以控制并发,其实这还有优化空间,有些场景应该允许用户并发,例如可以通过临时文件写入、合并操作的方法,实现用户并发。

3. 标准常量定义、清晰的注释、函数和变量大小写用法,细节中可以看出严谨,即使只有几行,也能体现出,一名优秀工程师的素质。


虽然离这些目标还有距离,但通过这些优秀的脚本,吸取经验,增长见识,我们会朝着目标前进,兄弟们加油!


如果您觉得此篇文章对您有帮助,欢迎关注微信公众号:bisal的个人杂货铺,您的支持是对我最大的鼓励!共同学习,共同进步:)

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
6天前
|
运维 监控 Devops
自动化运维之路:从脚本到DevOps
【9月更文挑战第4天】本文通过探索自动化在运维中的应用,揭示从简单的shell脚本到复杂的DevOps实践的转变过程。我们将讨论如何利用自动化工具来提升效率、减少错误并优化工作流程,同时分享一些实用的代码示例,帮助读者理解自动化运维的实际应用场景。
24 5
|
4天前
|
运维 监控 API
自动化运维:使用Python脚本进行日常管理
【9月更文挑战第6天】在现代的IT环境中,自动化运维已成为提升效率、减少人为错误的关键。本文将介绍如何通过Python脚本简化日常的运维任务,包括批量配置管理和日志分析。我们将从基础语法讲起,逐步深入到脚本的实际应用,旨在为读者提供一套完整的解决方案,以实现运维工作的自动化和优化。
11 1
|
6天前
|
机器学习/深度学习 人工智能 运维
自动化运维的演变之路:从脚本到智能
在数字化浪潮中,自动化运维如同一艘船,载着企业乘风破浪。本文将带你穿梭于自动化运维的历史长河,见证它如何从简单的脚本编写,发展成为今天集成了人工智能技术的智能运维平台。我们将探索这一变革背后的原因、影响以及面临的挑战,同时分享一些行业内的成功案例,为你的企业运维之旅提供启示和方向。
|
9天前
|
运维 Linux 测试技术
自动化运维:使用Python脚本简化日常任务
【8月更文挑战第34天】在快节奏的IT环境中,自动化运维成为提升效率、降低错误率的关键。本文以Python脚本为例,展示如何通过编写简单的脚本来自动化日常运维任务,如批量更改文件权限、自动备份数据等。文章不仅提供代码示例,还探讨了自动化运维带来的益处和实施时应注意的问题。
|
9天前
|
运维 监控 网络安全
自动化运维:使用Python脚本简化日常任务
【8月更文挑战第33天】在本文中,我们将深入探讨如何通过Python脚本来自动化执行常见的运维任务。从基础的服务器健康检查到复杂的部署流程,Python因其简洁和功能强大的特性,成为自动化工具的首选。文章将展示编写Python脚本的基本方法,并通过实际示例演示如何应用于真实场景,旨在帮助读者提升效率,减少重复性工作。
|
12天前
|
数据采集 运维 Devops
探索Python编程之美:从基础到进阶自动化运维的变革之路:从脚本到DevOps
【8月更文挑战第30天】在数字化时代的浪潮中,编程已经成为一门重要的技能。Python以其简洁明了的语法和强大的功能,成为了许多初学者的首选编程语言。本文将通过浅显易懂的语言,带领读者从Python的基础语法出发,逐步深入到面向对象编程、网络爬虫开发以及数据分析等高级应用,旨在帮助初学者构建扎实的编程基础,并激发他们进一步探索编程世界的热情。文章不仅分享实用的编程技巧,还将探讨如何将编程知识应用于解决实际问题,以期培养读者的问题解决能力和创新思维。
|
12天前
|
运维 监控 数据库
自动化运维:使用Python脚本实现服务器监控
【8月更文挑战第31天】在这篇文章中,我们将探索如何利用Python编写简单的脚本来实现对服务器的基本监控。通过学习和应用这些技术,你可以快速检测服务器的状态,包括CPU使用率、内存占用和磁盘空间等关键指标。这不仅有助于及时发现问题,还能提升运维效率。文章将逐步引导你理解监控的重要性,并展示如何从零开始构建自己的监控工具。
|
9天前
|
运维 监控 Python
自动化运维:使用Python脚本简化日常任务
【8月更文挑战第34天】在数字化时代,高效运维成为企业竞争力的关键。本篇文章将引导你通过Python脚本实现自动化运维,从而提升工作效率和减少人为错误。我们将从简单的文件备份脚本开始,逐步深入到系统监控和自动报告生成,让你的日常工作更加轻松。
|
11天前
|
运维 监控 搜索推荐
自动化运维之宝典:Python脚本实现日常任务管理
在IT运维的日常工作中,重复性任务的自动化处理不仅能提高效率,还能减少人为错误。本文将介绍如何用Python编写简单脚本来自动化常见的运维任务,比如备份文件、监控系统资源和自动更新软件包。我们将一步步构建这些脚本,确保它们易于理解和扩展,最终目标是让读者能够自行定制脚本以适应自己的运维需求。 【8月更文挑战第31天】
|
11天前
|
运维 监控 数据可视化
自动化运维:使用Python脚本进行日志分析
【8月更文挑战第31天】当系统出现问题时,我们通常会查看日志寻找线索。然而,手动阅读大量日志既费时又易出错。本文将介绍如何使用Python脚本自动分析日志,快速定位问题,提高运维效率。我们将从简单的日志读取开始,逐步深入到复杂的正则表达式匹配和错误统计,最后实现一个自动化的日志监控系统。无论你是新手还是老手,这篇文章都将为你提供有价值的参考。让我们一起探索如何用代码解放双手,让运维工作变得更加轻松吧!