每天解析一个脚本(34)

简介: 【4月更文挑战第24天】shell脚本解析及训练(34)

信息化浪潮席卷全球的当下,数字化转型已成为各行各业的核心驱动力,而作为这一进程守护者的运维工作,其重要性与日俱增。面对瞬息万变的IT环境,复杂多元的系统架构,以及日益严苛的服务质量要求,高效的自动化工具与脚本已成为运维人员提升工作效率、确保系统稳定性不可或缺的“秘密武器”。有鉴于此,我倾力编撰了这份精心筛选与整理的Shell脚本合集,旨在为广大的运维同行献上一份诚意满满的“运维人福利”,助您在应对日常运维挑战时如虎添翼,从容不迫。

这份脚本合集,犹如一座蕴藏着丰富矿藏的知识宝库,凝结了我在实战运维工作中积累的点滴智慧与宝贵经验。它深度聚焦服务器监控、故障排查、数据备份与恢复、性能调优、自动化部署等运维核心领域,旨在为每一位身处其中的专业人士提供全方位的支持。无论是初涉运维领域的新人,渴望快速掌握实战技巧,还是久经沙场的资深专家,寻求优化现有流程、提升运维效能的新思路,都能在这份合集中找寻到契合自身需求的解决方案。

每一款脚本均经过真实业务场景的反复打磨与严格测试,秉持着简洁高效、易于理解和使用的理念设计。它们不仅具备高度的灵活性与适应性,能够轻松应对各种复杂运维环境下的多样化需求,而且注释详尽,逻辑清晰,旨在成为您日常工作中随时查阅、快速上手的实用指南。无论是自动化执行例行任务,迅速响应突发事件,还是深入挖掘系统瓶颈,优化资源分配,这些脚本都将化身为您的得力助手,使繁复的运维工作变得有条不紊,事半功倍。

我热忱欢迎所有运维同仁自由取阅、广泛分享这份宝贵的Shell脚本资源,将其融入个人的工作实践中,或是作为团队协作、技能培训的参考资料。它们不仅是提升个人技能、优化工作流程的有效工具,更是增进同行间技术交流、知识共享的优质载体。让我们携手共进,充分运用这份脚本合集所蕴含的技术力量,积极推动运维工作的智能化、自动化进程,共同为构建稳定、高效、可靠的信息化系统保驾护航,为企业的数字化转型之路奠定坚实基础。在这个瞬息万变的数字化时代,让我们以匠心独运的运维智慧,驾驭科技之舟,破浪前行,共创辉煌!

今天我们要分析的是:

根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁

#!/bin/bash

logfile=/data/log/access.log

#显示一分钟前的小时和分钟

d1=`date -d "-1 minute" +%H%M`

d2=`date +%M`

ipt=/sbin/iptables

ips=/tmp/ips.txt

block()

{

#将一分钟前的日志全部过滤出来并提取IP以及统计访问次数

grep '$d1:' $logfile|awk '{print $1}'|sort -n|uniq -c|sort -n > $ips

#利用for循环将次数超过100的IP依次遍历出来并予以封禁

for i in `awk '$1>100 {print $2}' $ips`

do

$ipt -I INPUT -p tcp --dport 80 -s $i -j REJECT

echo "`date +%F-%T` $i" >> /tmp/badip.log

done

}

unblock()

{

#将封禁后所产生的pkts数量小于10的IP依次遍历予以解封

for a in `$ipt -nvL INPUT --line-numbers |grep '0.0.0.0/0'|awk '$2<10 {print

$1}'|sort -nr`

do

$ipt -D INPUT $a

done

$ipt -Z

}

#当时间在00分以及30分时执行解封函数

if [ $d2 -eq "00" ] || [ $d2 -eq "30" ]

then

#要先解再封,因为刚刚封禁时产生的pkts数量很少

unblock

block

else

block

fi

脚本结构概览

  1. 变量定义
  • logfile: 指定Web访问日志文件路径,例如 /data/log/access.log
  • d1d2: 分别存储一分钟前的小时和分钟,以及当前分钟。
  • ipt: 指定iptables命令路径,用于添加、删除防火墙规则。
  • ips: 临时文件,存储统计出的访问次数异常的IP及其次数。
  • block()unblock() 函数:分别用于封禁和解除封禁异常IP。

功能详解

block() 函数

  1. 筛选日志并统计IP访问次数
  • 使用 grep 过滤出一分钟前(由 $d1 表示)的日志行。
  • 通过 awk 提取每行中的IP地址。
  • 使用 sortuniq -c 统计每个IP的访问次数,最后按次数排序。
  1. 封禁异常IP
  • 使用 for 循环遍历访问次数超过100的IP。
  • 对于每个异常IP,使用 iptables 添加一条规则,拒绝其对TCP端口80的访问(-p tcp --dport 80 -s $i -j REJECT)。
  • 记录封禁操作的时间和IP至 /tmp/badip.log

unblock() 函数

  1. 查找待解封IP
  • 列出所有拒绝规则(-nvL INPUT)及其详细信息。
  • 过滤出针对源IP为0.0.0.0/0的规则(可能表示被封禁的IP),并提取行号和最近一小时内接收的包数(pkts)。
  • 选取pkts数量小于10的规则行号,按行号降序排列。
  1. 解除封禁
  • 使用 for 循环遍历待解封的规则行号。
  • 对于每个行号,使用 iptables -D 删除对应拒绝规则。
  • 执行 iptables -Z 清空计数器,确保后续判断准确性。

主流程

  1. 定时解封
  • 判断当前分钟($d2)是否为00分或30分。
  • 若是,则先执行 unblock() 解除封禁,再执行 block() 更新封禁列表;否则,仅执行 block()

如何使用

  1. 权限要求
  • 确保运行此脚本的用户具有执行iptables命令的权限。
  1. 配置日志路径
  • 确认您的Web服务器访问日志路径,并在脚本中正确设置logfile变量。
  1. 运行脚本
  • 由于脚本需要定时执行,建议将其添加至系统定时任务(如cron)中,每分钟运行一次。例如,在crontab中添加如下条目:
  • Code
1* * * * * /path/to/script.sh

通过上述步骤,该脚本将根据Web访问日志实时监控并处理异常请求的IP。当某个IP在一分钟内的访问次数超过100次时,它会被立即封禁。然后,每隔半小时,脚本会检查被封禁IP在过去半小时内的请求情况,若其请求量恢复正常(即收到的包数小于10),则自动解除对该IP的封禁。这样可以有效应对短时间内大量恶意请求,同时避免误封正常IP。

如果想上手操作练代码的同学们可以通过阿里云ecs服务器免费试用参与!

入口:新老同学免费试用

目录
相关文章
|
19天前
|
存储 运维 Shell
每天解析一个脚本(16)
【4月更文挑战第20天】shell脚本解析及训练(16)
19 2
|
18天前
|
存储 弹性计算 运维
每天解析一个脚本(25)
【4月更文挑战第22天】shell脚本解析及训练(25)
29 0
|
19天前
|
存储 运维 监控
每天解析一个脚本(15)
【4月更文挑战第19天】shell脚本解析及训练(15)
72 1
|
15天前
|
弹性计算 运维 搜索推荐
每天解析一个脚本(46)
【4月更文挑战第25天】shell脚本解析及训练(46)
13 1
|
15天前
|
弹性计算 运维 监控
每天解析一个脚本(47)
【4月更文挑战第26天】shell脚本解析及训练(47)
21 1
|
15天前
|
弹性计算 运维 Shell
每天解析一个脚本(42)
【4月更文挑战第25天】shell脚本解析及训练(42)
9 1
|
15天前
|
运维 监控 Shell
每天解析一个脚本(44)
【4月更文挑战第25天】shell脚本解析及训练(44)
9 0
|
15天前
|
存储 弹性计算 运维
每天解析一个脚本(40)
【4月更文挑战第25天】shell脚本解析及训练(40)
6 0
|
15天前
|
弹性计算 运维 监控
每天解析一个脚本(43)
【4月更文挑战第25天】shell脚本解析及训练(43)
9 0
|
16天前
|
JSON 运维 机器人
每天解析一个脚本(35)
【4月更文挑战第24天】shell脚本解析及训练(35)
6 1