自动化脚本:提升运维效率的秘诀

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: **自动化脚本提升服务器管理效率:**- 数据库备份脚本自动执行mysqldump,保证数据安全。- DoS防护脚本监测Nginx日志,异常IP自动屏蔽。- 实时网卡流量监控脚本展示网络流量,辅助异常检测。- 配置邮件发送环境,利用mailx发送告警通知。- Nginx日志按天切割脚本优化存储,日志分析脚本提供访问洞察。这些脚本简化运维工作,增强系统安全与响应能力。

当我们谈论服务器管理时,自动化脚本就像是一位无声的英雄,它默默在幕后保持着我们的服务器运行顺畅,确保数据安全,同时还能有效防范网络攻击。

今天,我将和大家分享几个实用的自动化脚本,涵盖了数据库备份、防范Dos攻击、监控网卡流量、发送系统告警以及日志管理等方面。无论你是初学者还是有一定经验的开发者,相信这篇文章都能带给你一些启发。

一、自动备份数据库的脚本

背景介绍

数据库是任何在线服务的心脏。无论是用户信息、交易数据还是其他重要信息,都存储在数据库中。一旦数据丢失或损坏,可能会造成不可挽回的损失。因此,定期备份数据库是一项非常关键的工作。

脚本概述

以下是一个简单的shell脚本,用于备份指定的数据库表:

#!/bin/bash
#备份指定表数据,因为加了 -t 参数,如果需要备份表字段直接去掉 -t 参数即可。

# 数据库相关配置信息
host='127.0.0.1'
port=3306
username='root'
password='password'
database='sample_api'
tables='menus users'

# 当前时间
current_time=$(date +"%Y-%m-%d_%H:%M:%S")

# sql 备份目录
sql_backup_path=$(cd `dirname $0`; pwd)

# sql 文件
file_name="${sql_backup_path}/back_up_${current_gmtime}.sql"

# 目录存在,删除修改时间为 7 天前的文件
if [ -d "${sql_backup_path}" ]; then
        find "${sql_backup_path}"/* -name '*.sql' -mtime +1 -exec rm -rf {
   } \;
fi

# 执行 sql 备份
mysqldump --host=${host} --port=${port} --user=${username} --password=${password} -t ${database} ${tables} > "${file_name}"

此脚本通过mysqldump工具备份指定的数据库中的表,并根据当前时间为备份文件命名,自动删除7天前的备份文件,以节省空间。

二、Dos攻击防范(自动屏蔽攻击IP)

背景介绍

Dos攻击是一种常见的网络攻击方式,通过大量的请求消耗服务器资源,导致服务不可用。对于这类攻击,一种有效的应对策略是检测异常IP并及时将其屏蔽。

脚本概述

以下脚本可以自动检测异常IP并屏蔽:

#!/bin/bash
DATE=$(date +%d/%b/%Y:%H:%M)
LOG_FILE=/usr/local/nginx/logs/demo2.access.log
ABNORMAL_IP=$(tail -n5000 $LOG_FILE | grep $DATE | awk '{a[$1]++} END{for(i in a) if(a[i]>10) print i}')
for IP in $ABNORMAL_IP; do
    if [ $(iptables -vnL | grep -c "$IP") -eq 0 ]; then
        iptables -I INPUT -s $IP -j DROP
        echo "$(date +'%F_%T') $IP" >> /tmp/drop_ip.log
    fi
done

该脚本通过分析Nginx的访问日志,查找在短时间内访问频率异常高的IP地址,并使用iptables命令屏蔽这些IP。

三、查看网卡实时流量脚本

背景介绍

了解服务器的实时流量是监控服务器状态的重要一环。通过实时监控,我们可以及时发现异常流量,做出相应的处理。

脚本概述

以下脚本可以实时显示指定网卡的流入和流出流量:

#!/bin/bash
NIC=$1
echo -e " In ------ Out"
while true; do
    OLD_IN=$(awk '$0~"'$NIC'"{print $2}' /proc/net/dev)
    OLD_OUT=$(awk '$0~"'$NIC'"{print $10}' /proc/net/dev)
    sleep 1
    NEW_IN=$(awk  '$0~"'$NIC'"{print $2}' /proc/net/dev)
    NEW_OUT=$(awk '$0~"'$NIC'"{print $10}' /proc/net/dev)
    IN=$(printf "%.1f%s" "$((($NEW_IN-$OLD_IN)/1024))" "KB/s")
    OUT=$(printf "%.1f%s" "$((($NEW_OUT-$OLD_OUT)/1024))" "KB/s")
    echo "$IN $OUT"
    sleep 1
done

通过读取 /proc/net/dev 文件,该脚本计算了网卡在一秒钟内的数据流入和流出量,并以KB/s为单位展示。

四、Linux系统发送告警脚本

背景介绍

当服务器出现问题时,能否及时收到告警,直接关系到问题处理的时效性。配置一个能自动发送告警邮件的脚本,对于运维人员而言是非常有帮助的。

配置邮件发送环境

在Linux系统中,我们可以使用mailx命令发送邮件。首先,需要安装mailx并配置邮件发送参数:

# yum install mailx
# vi /etc/mail.rc
set from=baojingtongzhi@163.com smtp=smtp.163.com
set smtp-auth-user=baojingtongzhi@163.com smtp-auth-password=123456
set smtp-auth=login

通过配置 /etc/mail.rc 文件,设置发件人邮箱、SMTP服务器、认证用户等信息,之后就可以使用mailx命令发送邮件了。

五、Nginx访问日志按天切割与分析

背景介绍

对于任何在线服务而言,日志文件都是不可或缺的。它们记录了服务的运行状况和用户的行为。然而,随着时间的推移,日志文件会不断增大,不仅占用磁盘空间,而且还会影响日志查找的效率。因此,按照一定的规则切割和分析日志文件是非常必要的。

日志切割脚本

通过以下脚本,我们可以实现Nginx访问日志的按天切割:

#!/bin/bash
LOG_DIR=/usr/local/nginx/logs
YESTERDAY_TIME=$(date -d "yesterday" +%F)
LOG_MONTH_DIR=$LOG_DIR/$(date +"%Y-%m")
LOG_FILE_LIST="default.access.log"

for LOG_FILE in $LOG_FILE_LIST; do
    [ ! -d $LOG_MONTH_DIR ] && mkdir -p $LOG_MONTH_DIR
    mv $LOG_DIR/$LOG_FILE $LOG_MONTH_DIR/${LOG_FILE}_${YESTERDAY_TIME}
done

kill -USR1 $(cat /var/run/nginx.pid)

该脚本会将指定的日志文件移动到按月分类的目录中,并以昨天的日期为文件名后缀,然后通过发送USR1信号给Nginx主进程,无需重新启动Nginx即可生效。

日志分析脚本

为了更好地理解访问模式,以下脚本提供了一种Nginx日志的分析方法:

#!/bin/bash
# 日志格式: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"
LOG_FILE=$1
echo "统计访问最多的10个IP"
awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr |head -10
echo "----------------------"

echo "统计时间段访问最多的IP"
awk '$4>="[01/Dec/2018:13:20:25" && $4<="[27/Nov/2018:16:20:49"{a[$1]++}END{for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr|head -10
echo "----------------------"

echo "统计访问最多的10个页面"
awk '{a[$7]++}END{print "PV:",length(a);for(v in a){if(a[v]>10)print v,a[v]}}' $LOG_FILE |sort -k2 -nr
echo "----------------------"

echo "统计访问页面状态码数量"
awk '{a[$7" "$9]++}END{for(v in a){if(a[v]>5)print v,a[v]}}'

这个脚本可以帮助我们快速从日志中挖掘出访问量最多的IP、高频时间段、热门页面以及状态码分布等关键信息,对于分析和优化网站性能具有重要参考价值。

通过这些脚本,我们不仅可以提高数据安全和服务稳定性,还可以有效管理日志文件,及时发现并处理问题。希望这些内容对你有所帮助!

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3天前
|
运维 Devops
自动化运维:从脚本到DevOps的进化之旅
在数字化时代,自动化运维不仅是提高生产效率的关键,更是企业竞争力的象征。本文将带领读者穿越自动化运维的发展历程,从最初的脚本编写到现代DevOps文化的形成,揭示这一演变如何重塑IT行业的工作模式。通过具体案例,我们将展示自动化工具和实践如何简化复杂任务,优化流程,并促进团队协作。你将发现,自动化运维不仅关乎技术的进步,更体现了人、流程和技术三者之间协同增效的深层逻辑。
|
15天前
|
存储 Python
Python自动化脚本编写指南
【10月更文挑战第38天】本文旨在为初学者提供一条清晰的路径,通过Python实现日常任务的自动化。我们将从基础语法讲起,逐步引导读者理解如何将代码块组合成有效脚本,并探讨常见错误及调试技巧。文章不仅涉及理论知识,还包括实际案例分析,帮助读者快速入门并提升编程能力。
44 2
|
15天前
|
机器学习/深度学习 数据采集 人工智能
智能运维:从自动化到AIOps的演进与实践####
本文探讨了智能运维(AIOps)的兴起背景、核心组件及其在现代IT运维中的应用。通过对比传统运维模式,阐述了AIOps如何利用机器学习、大数据分析等技术,实现故障预测、根因分析、自动化修复等功能,从而提升系统稳定性和运维效率。文章还深入分析了实施AIOps面临的挑战与解决方案,并展望了其未来发展趋势。 ####
|
17天前
|
运维 监控 Python
自动化运维:使用Python脚本简化日常任务
【10月更文挑战第36天】在数字化时代,运维工作的效率和准确性成为企业竞争力的关键。本文将介绍如何通过编写Python脚本来自动化日常的运维任务,不仅提高工作效率,还能降低人为错误的风险。从基础的文件操作到进阶的网络管理,我们将一步步展示Python在自动化运维中的应用,并分享实用的代码示例,帮助读者快速掌握自动化运维的核心技能。
31 3
|
22天前
|
缓存 运维 NoSQL
python常见运维脚本_Python运维常用脚本
python常见运维脚本_Python运维常用脚本
24 3
|
23天前
|
运维 监控 应用服务中间件
自动化运维:如何利用Python脚本提升工作效率
【10月更文挑战第30天】在快节奏的IT行业中,自动化运维已成为提升工作效率和减少人为错误的关键技术。本文将介绍如何使用Python编写简单的自动化脚本,以实现日常运维任务的自动化。通过实际案例,我们将展示如何用Python脚本简化服务器管理、批量配置更新以及监控系统性能等任务。文章不仅提供代码示例,还将深入探讨自动化运维背后的理念,帮助读者理解并应用这一技术来优化他们的工作流程。
|
24天前
|
机器学习/深度学习 数据采集 运维
智能化运维:机器学习在故障预测和自动化响应中的应用
智能化运维:机器学习在故障预测和自动化响应中的应用
48 4
|
24天前
|
运维 监控 Linux
自动化运维:如何利用Python脚本优化日常任务##
【10月更文挑战第29天】在现代IT运维中,自动化已成为提升效率、减少人为错误的关键技术。本文将介绍如何通过Python脚本来简化和自动化日常的运维任务,从而让运维人员能够专注于更高层次的工作。从备份管理到系统监控,再到日志分析,我们将一步步展示如何编写实用的Python脚本来处理这些任务。 ##
|
2月前
|
运维 Linux Apache
,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具
【10月更文挑战第7天】随着云计算和容器化技术的发展,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具,通过定义资源状态和关系,确保系统始终处于期望配置状态。本文介绍Puppet的基本概念、安装配置及使用示例,帮助读者快速掌握Puppet,实现高效自动化运维。
56 4
|
2月前
|
存储 运维 监控
高效运维:从基础架构到自动化管理的全面指南
【10月更文挑战第11天】 本文将深入探讨如何通过优化基础架构和引入自动化管理来提升企业IT运维效率。我们将从服务器的选择与配置、存储解决方案的评估,到网络的设计与监控,逐一解析每个环节的关键技术点。同时,重点讨论自动化工具在现代运维中的应用,包括配置管理、持续集成与部署(CI/CD)、自动化测试及故障排除等方面。通过实际案例分析,展示这些技术如何协同工作,实现高效的运维管理。无论是IT初学者还是经验丰富的专业人员,都能从中获得有价值的见解和实操经验。
76 1

热门文章

最新文章