每天解析一个脚本(34)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【4月更文挑战第24天】shell脚本解析及训练(34)

信息化浪潮席卷全球的当下,数字化转型已成为各行各业的核心驱动力,而作为这一进程守护者的运维工作,其重要性与日俱增。面对瞬息万变的IT环境,复杂多元的系统架构,以及日益严苛的服务质量要求,高效的自动化工具与脚本已成为运维人员提升工作效率、确保系统稳定性不可或缺的“秘密武器”。有鉴于此,我倾力编撰了这份精心筛选与整理的Shell脚本合集,旨在为广大的运维同行献上一份诚意满满的“运维人福利”,助您在应对日常运维挑战时如虎添翼,从容不迫。

这份脚本合集,犹如一座蕴藏着丰富矿藏的知识宝库,凝结了我在实战运维工作中积累的点滴智慧与宝贵经验。它深度聚焦服务器监控、故障排查、数据备份与恢复、性能调优、自动化部署等运维核心领域,旨在为每一位身处其中的专业人士提供全方位的支持。无论是初涉运维领域的新人,渴望快速掌握实战技巧,还是久经沙场的资深专家,寻求优化现有流程、提升运维效能的新思路,都能在这份合集中找寻到契合自身需求的解决方案。

每一款脚本均经过真实业务场景的反复打磨与严格测试,秉持着简洁高效、易于理解和使用的理念设计。它们不仅具备高度的灵活性与适应性,能够轻松应对各种复杂运维环境下的多样化需求,而且注释详尽,逻辑清晰,旨在成为您日常工作中随时查阅、快速上手的实用指南。无论是自动化执行例行任务,迅速响应突发事件,还是深入挖掘系统瓶颈,优化资源分配,这些脚本都将化身为您的得力助手,使繁复的运维工作变得有条不紊,事半功倍。

我热忱欢迎所有运维同仁自由取阅、广泛分享这份宝贵的Shell脚本资源,将其融入个人的工作实践中,或是作为团队协作、技能培训的参考资料。它们不仅是提升个人技能、优化工作流程的有效工具,更是增进同行间技术交流、知识共享的优质载体。让我们携手共进,充分运用这份脚本合集所蕴含的技术力量,积极推动运维工作的智能化、自动化进程,共同为构建稳定、高效、可靠的信息化系统保驾护航,为企业的数字化转型之路奠定坚实基础。在这个瞬息万变的数字化时代,让我们以匠心独运的运维智慧,驾驭科技之舟,破浪前行,共创辉煌!

今天我们要分析的是:

根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁

#!/bin/bash

logfile=/data/log/access.log

#显示一分钟前的小时和分钟

d1=`date -d "-1 minute" +%H%M`

d2=`date +%M`

ipt=/sbin/iptables

ips=/tmp/ips.txt

block()

{

#将一分钟前的日志全部过滤出来并提取IP以及统计访问次数

grep '$d1:' $logfile|awk '{print $1}'|sort -n|uniq -c|sort -n > $ips

#利用for循环将次数超过100的IP依次遍历出来并予以封禁

for i in `awk '$1>100 {print $2}' $ips`

do

$ipt -I INPUT -p tcp --dport 80 -s $i -j REJECT

echo "`date +%F-%T` $i" >> /tmp/badip.log

done

}

unblock()

{

#将封禁后所产生的pkts数量小于10的IP依次遍历予以解封

for a in `$ipt -nvL INPUT --line-numbers |grep '0.0.0.0/0'|awk '$2<10 {print

$1}'|sort -nr`

do

$ipt -D INPUT $a

done

$ipt -Z

}

#当时间在00分以及30分时执行解封函数

if [ $d2 -eq "00" ] || [ $d2 -eq "30" ]

then

#要先解再封,因为刚刚封禁时产生的pkts数量很少

unblock

block

else

block

fi

脚本结构概览

  1. 变量定义
  • logfile: 指定Web访问日志文件路径,例如 /data/log/access.log
  • d1d2: 分别存储一分钟前的小时和分钟,以及当前分钟。
  • ipt: 指定iptables命令路径,用于添加、删除防火墙规则。
  • ips: 临时文件,存储统计出的访问次数异常的IP及其次数。
  • block()unblock() 函数:分别用于封禁和解除封禁异常IP。

功能详解

block() 函数

  1. 筛选日志并统计IP访问次数
  • 使用 grep 过滤出一分钟前(由 $d1 表示)的日志行。
  • 通过 awk 提取每行中的IP地址。
  • 使用 sortuniq -c 统计每个IP的访问次数,最后按次数排序。
  1. 封禁异常IP
  • 使用 for 循环遍历访问次数超过100的IP。
  • 对于每个异常IP,使用 iptables 添加一条规则,拒绝其对TCP端口80的访问(-p tcp --dport 80 -s $i -j REJECT)。
  • 记录封禁操作的时间和IP至 /tmp/badip.log

unblock() 函数

  1. 查找待解封IP
  • 列出所有拒绝规则(-nvL INPUT)及其详细信息。
  • 过滤出针对源IP为0.0.0.0/0的规则(可能表示被封禁的IP),并提取行号和最近一小时内接收的包数(pkts)。
  • 选取pkts数量小于10的规则行号,按行号降序排列。
  1. 解除封禁
  • 使用 for 循环遍历待解封的规则行号。
  • 对于每个行号,使用 iptables -D 删除对应拒绝规则。
  • 执行 iptables -Z 清空计数器,确保后续判断准确性。

主流程

  1. 定时解封
  • 判断当前分钟($d2)是否为00分或30分。
  • 若是,则先执行 unblock() 解除封禁,再执行 block() 更新封禁列表;否则,仅执行 block()

如何使用

  1. 权限要求
  • 确保运行此脚本的用户具有执行iptables命令的权限。
  1. 配置日志路径
  • 确认您的Web服务器访问日志路径,并在脚本中正确设置logfile变量。
  1. 运行脚本
  • 由于脚本需要定时执行,建议将其添加至系统定时任务(如cron)中,每分钟运行一次。例如,在crontab中添加如下条目:
  • Code
1* * * * * /path/to/script.sh

通过上述步骤,该脚本将根据Web访问日志实时监控并处理异常请求的IP。当某个IP在一分钟内的访问次数超过100次时,它会被立即封禁。然后,每隔半小时,脚本会检查被封禁IP在过去半小时内的请求情况,若其请求量恢复正常(即收到的包数小于10),则自动解除对该IP的封禁。这样可以有效应对短时间内大量恶意请求,同时避免误封正常IP。

如果想上手操作练代码的同学们可以通过阿里云ecs服务器免费试用参与!

入口:新老同学免费试用

目录
相关文章
|
11月前
|
数据挖掘 vr&ar C++
让UE自动运行Python脚本:实现与实例解析
本文介绍如何配置Unreal Engine(UE)以自动运行Python脚本,提高开发效率。通过安装Python、配置UE环境及使用第三方插件,实现Python与UE的集成。结合蓝图和C++示例,展示自动化任务处理、关卡生成及数据分析等应用场景。
1087 5
|
11月前
|
Android开发 开发者 Python
通过标签清理微信好友:Python自动化脚本解析
微信已成为日常生活中的重要社交工具,但随着使用时间增长,好友列表可能变得臃肿。本文介绍了一个基于 Python 的自动化脚本,利用 `uiautomator2` 库,通过模拟用户操作实现根据标签批量清理微信好友的功能。脚本包括环境准备、类定义、方法实现等部分,详细解析了如何通过标签筛选并删除好友,适合需要批量管理微信好友的用户。
442 7
|
设计模式 存储 人工智能
深度解析Unity游戏开发:从零构建可扩展与可维护的游戏架构,让你的游戏项目在模块化设计、脚本对象运用及状态模式处理中焕发新生,实现高效迭代与团队协作的完美平衡之路
【9月更文挑战第1天】游戏开发中的架构设计是项目成功的关键。良好的架构能提升开发效率并确保项目的长期可维护性和可扩展性。在使用Unity引擎时,合理的架构尤为重要。本文探讨了如何在Unity中实现可扩展且易维护的游戏架构,包括模块化设计、使用脚本对象管理数据、应用设计模式(如状态模式)及采用MVC/MVVM架构模式。通过这些方法,可以显著提高开发效率和游戏质量。例如,模块化设计将游戏拆分为独立模块。
847 3
|
XML Web App开发 数据挖掘
Postman接口测试工具全解析:功能、脚本编写及优缺点探讨
文章详细分析了Postman接口测试工具的功能、脚本编写、使用场景以及优缺点,强调了其在接口自动化测试中的强大能力,同时指出了其在性能分析方面的不足,并建议根据项目需求和个人偏好选择合适的接口测试工具。
576 1
|
Java Shell Linux
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志
关于如何使用Shell脚本来解析Linux系统中的应用服务日志,提供了脚本实现的详细步骤和技巧,以及一些Shell编程的技能扩展。
296 0
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志
|
弹性计算 运维 Shell
每天解析一个shell脚本(75)
【4月更文挑战第28天】shell脚本解析及训练(75)
100 7
|
弹性计算 运维 Shell
每天解析一个shell脚本(76)
【4月更文挑战第28天】shell脚本解析及训练(76)
97 4
|
弹性计算 运维 Shell
每天解析一个shell脚本(83)
【4月更文挑战第28天】shell脚本解析及训练(83)
78 2

推荐镜像

更多
  • DNS