产品解决方案文档与社区免费试用定价云市场合作伙伴支持与服务了解阿里云
备案控制台登录/注册
开发者社区 大数据 文章 正文

一个简单的防爬虫脚本(转载欧彬）

2017-11-12 1372
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
+关注继续查看
因为公司有时候受爬虫的影响，有时候应用压力很高，所以决定封掉大部分爬虫。

1.检测user-agent
2.设定一个阀值，如果超过这个访问阀值，就进入灰名单，某个时间段联系两次进入灰名单，就干掉这个ip
3.检测开发提供的特殊连点，查过阀值并访问特殊连点，也限制它。
4.判断reffer，如果为空的链接记录数大于整体访问的某个阀值，也限制该IP

#!/bin/bash
# 防爬虫脚本 by Sky Bin 2009.12
# description: Disable Spider



PATH="/var/PROGRAM/MANAGEMENT/modules/xbash:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:"
LANG=zh_CN
export PATH LANG
PATTERN_MIN=30
PORT=8080 #暂时不需要
MROOT="/data/resin-pro-3.1.6"
ACCESS_LOG=$MROOT"/logs/access.log"
IPTABLE="/tmp/.iptablestore"
LIMITIPLOG=$MROOT"/logs/limitIP.log"
CRITICAL=30 #系统并发数的阀值 当系统的连接数超过该值才运行脚本
PY_ACCESS="/var/PROGRAM/MANAGEMENT/modules/xbash/access.py"
SORT_D="/tmp/.sortd" #临时放置排序的选出来的段
SORT_S="/tmp/.sorts" #临时放置排序的选出来的IP

cd $MROOT

now_time_hour=$(date +%H)
now_time_min=$(date +%M)

case $now_time_hour in
  01|02|03|04|05|06|07|08|09)
  now_time_hour=`echo $now_time_hour |  awk ' BEGIN { FS="0"} {print $2}'`
  ;;
  00)
  now_time_min=0
  ;;
esac

case $now_time_min in
  01|02|03|04|05|06|07|08|09)
  now_time_min=`echo $now_time_min |  awk ' BEGIN { FS="0"} {print $2}'`
  ;;
  00)
  now_time_min=0
  ;;
esac

now_year=$(date +%Y)
now_month=$(date +%m)
now_day=$(date +%d)


if [[ $now_time_min -ge 0 && $now_time_min -le 20 && $now_time_hour -eq 8 && -e $IPTABLE ]] ; then
   
      
   mv $MROOT/logs/limitIP.log $MROOT/logs/limitIP.log.$now_year$now_month$now_day
   if [[ "$now_day" == "15" ]] ; then
   
       tar -cvf $MROOT/logs/limitIP.log.tar $MROOT/logs/limitIP.log.[0-9][0-9]*
       rm  -f $MROOT/logs/limitIP.log.[0-9][0-9]*
   fi 
   echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@" >> $LIMITIPLOG
   echo "复制iptables" >> $LIMITIPLOG
    iptables-restore < $IPTABLE
  echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@" >> $LIMITIPLOG
  rm -f $IPTABLE
  exit
fi


if [[ $now_time_min -ge 0  && $now_time_min -le 50 && $now_time_hour -eq 2 ]] ; then
  iptables-save > $IPTABLE
  echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@" >> $LIMITIPLOG
  echo "已备份iptables" >> $LIMITIPLOG
  echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@" >> $LIMITIPLOG
  iptables -F
  exit
fi
connect=$(netstat -st | awk '/connections established/{print $1}')

[[ $connect -lt $CRITICAL ]] && exit  #如果连接数少于阀值就退出

BLACK=/tmp/.black #存储符合黑名单的IP和IP段
GRAY=/tmp/.gray  #灰名单
LIST=/tmp/.list  #存储符合相应条件的日志信息
LISTT=/tmp/.listt #临时存储变量，存储不是ip段的IP
LOGPID=/tmp/.sclogpid #存储灰名单的版本
BFB=100 #百分比的分母
FZ=2    #百分比的分子
TOTALLINE=15000 #选取的总数
#临时存放灰名单的IP
patternGrayIP=""


pattern_year=$(date +%Y)
pattern_hour=$(date +%k)
now_patter_hour=0
min=`echo $PATTERN_MIN | awk ' BEGIN { FS="0"} {print $1}'` 
i=0
head_min=`date +%M | awk '{print substr($1,1,1)}'`
real_min=$head_min
pattern_tap=0
while [ $i -lt $min ]
do
   if ` real_min -eq 0 ` ; then
     
      if [[ "$pattern_hour" == " 0" ]] ; then
        
       pattern_hour=24
      fi
      pattern_hour=$(($pattern_hour-1))
      head_min=6
      pattern_tap=1
   fi

    if [[ $pattern_tap -eq 0 ]] ; then
       
       real_min=$(($head_min-$i-1))
     else 
       real_min=$(($head_min+$i-$min))    
    fi    
 
     case $pattern_hour in
        " 0"|" 1"|" 2"|" 3"|" 4"|" 5"|" 6"|" 7"|" 8"|" 9")
        now_pattern_hour=`echo $pattern_hour | awk '{print substr($1,1,1)}'`
        now_pattern_hour="0$now_pattern_hour"
        ;;
        0|1|2|3|4|5|6|7|8|9)
        now_pattern_hour="0$pattern_hour"
        ;;
        *)
        now_pattern_hour="$pattern_hour"
        ;;
        esac   
    if [[ $i -lt $(($min-1)) ]] ; then  
      pattern_min="$pattern_min$pattern_year:$now_pattern_hour:$real_min|"
     else
      pattern_min="$pattern_min$pattern_year:$now_pattern_hour:$real_min"
    fi
    i=$(($i+1))   
done

time_pattern="$pattern_min"


############
# 主机信息 #
############
INTF=$(netstat -rn | tail -1 | awk '{print $NF}')
IP=$(ifconfig $INTF | awk '/inet addr/{ split($2,tmp,":") ; print tmp[2] }')
HOST_NAME=$(hostname --short)
###########
##########
#邮件环境#
##########
#CHARTSET="zh_CN."
MAIL_CLIENT=""
MAIL_SENDER=""
MAIL_SERVER=""
case $IP in
        192.168.230.*|192.168.1[0-1].*|192.168.238.*|202.*)
        MAIL_SERVER=""
        ;;
        *)
        MAIL_SERVER=""
        ;;
esac
##########
LINECOUNT=0

rm -f $LIST 
rm -f $LISTT

testline=`wc -l $ACCESS_LOG | awk '{print $1}'`

####以下是有时间匹配的样本数据的获取
#tail -$TOTALLINE $ACCESS_LOG | grep -E "$time_pattern" > $LIST 
grep -E "$time_pattern" $ACCESS_LOG > $LIST
TOTALLINE=`wc -l $LIST | awk '{print $1}'`
if [[ -e $LIST ]]  ; then
 patternLINE=`wc -l $LIST | awk '{print $1}'`
 BFB=$(($patternLINE/$BFB))
 FZ=$(($FZ*$BFB))
 echo "##########################################################" >> $LIMITIPLOG
 date >> $LIMITIPLOG 
 echo "匹配的时间模式是:"$time_pattern >> $LIMITIPLOG
 echo "Access_LOG的数据总数是:"$testline >> $LIMITIPLOG
 echo "获取的数据的总数是:"$TOTALLINE >> $LIMITIPLOG
 echo "阀值是:"$FZ >> $LIMITIPLOG
else
 echo "##########################################################" >> $LIMITIPLOG
 date >> $LIMITIPLOG
 echo "-----------------------------------------------------------" >> $LIMITIPLOG
 echo "没有获取到样本数据" >> $LIMITIPLOG
 exit
fi 




#把agent中含有爬虫类代表的字符的先清除到黑名单中
cat $LIST | \
grep -iEv "googlebot|baiduspider" |grep -E "spider|bot|Yahoo|archiver|yodaoice" | awk '{print $1}' | sort | uniq  > $BLACK


#缓存通过第一个条件的log数据
cat $LIST | \
#选取不包含特殊字符的数据
grep  -Eiv "googlebot|archiver|spider|bot|Yahoo" | \
#选取例外IP之外的数据
grep -Ev "192.168.*.*|xx|127.0.0.1" > $LISTT
cat $LISTT > $LIST
rm -f $LISTT



if [[ -e $BLACK ]] ; then
spiderNum=`wc -l $BLACK | awk '{print $1}'`

if [[ $spiderNum -gt 0 ]] ; then
echo "-------------以下IP包含Spider等特殊字符--------------" >> $LIMITIPLOG
cat $BLACK >> $LIMITIPLOG  
limitIP_num=`wc -l $BLACK | awk '{print($1)}'`

cat $BLACK | sort | uniq -c > /tmp/.tmp_black

    if [[ -e /tmp/.tmp_black ]] ; then
        #########发送邮件############
         env MAILRC=/dev/null charset="$CHARTSET" from="$MAIL_SENDER" smtp="$MAIL_SERVER" \
         nail -n -s "$HOST_NAME($IP)含有爬虫等关键字名单的IP" $MAIL_CLIENT < /tmp/.tmp_black
   fi

fi

fi


cat $LIST | \
$PY_ACCESS G -gh | \
awk '{if( NR>2 && $1~/[0-9]+/&&"-"!~$2 && $3!="" )  print $1,$3}' | \
while read num ip
do 
  if [[ $num -gt $FZ ]]
   then
       echo "$ip"  >> $GRAY
   else
          continue
   fi

done 









if [[ -e $GRAY ]] ; then
 tmp_gray_line=`wc -l $GRAY | awk '{print $1}'`
 if [[ $tmp_gray_line -gt 0 ]] ; then
  if [[ -e $LOGPID ]] ; then
   last_hour=`cat $LOGPID | awk '{print $1}'`

    if (( now_time_hour - last_now > 1 ))
      then
      cat $GRAY | sort | uniq -c | awk '{print($1,$2)}' | \
       while read num ip
       do
         if [[ $num -gt 1 ]]
           then
           echo "$ip"
         fi
       done > $LISTT
       
     if [[ -e $LISTT ]] ; then   
       logcount=`wc -l $LISTT | awk '{print($1)}'`
    
       if [[ $logcount -gt 0 ]] ; then
         #########发送邮件############
         env MAILRC=/dev/null charset="$CHARTSET" from="$MAIL_SENDER" smtp="$MAIL_SERVER" \
         nail -n -s "$HOST_NAME($IP)两次连续进入灰名单名单的IP" $MAIL_CLIENT < $LISTT

         echo "-------------以下字符是两次连续进入灰名单的------" >> $LIMITIPLOG
         cat $LISTT >> $LIMITIPLOG
         cat $LISTT > $GRAY
         ############封灰名单##################
     cat $GRAY >> $BLACK 
     cat $GRAY >>  $MROOT/logs/gray.log ####暂时存放灰名单IP用于观察
       fi
     fi

    fi    

  else
     echo $now_time_hour > $LOGPID
  fi
 fi 
fi


rm -f $LISTT

     echo "检查特殊文件的存在" >> $LIMITIPLOG

if [[ $# -eq 0 ]]
     then
           echo "没有设置特殊连点文件,跳过特殊连点检查" >> $LIMITIPLOG
     else
            graylinecount=`wc -l $GRAY | awk '{print $1}'`
            i=0
        if [[ $graylinecount -gt 1 ]] ; then
            cat $GRAY | awk '{print $1}' | \
            while read ip
            do
              if [[ "$ip" ]] ; then
                      
                cat $1 | awk '{print($1)}' | \
                while read limitedUrl
                  do
                   tap=`cat $LIST | access.py FG -gr -h $ip | grep -E "$limitedYrl" | awk '{if( NR>2 && $1~/[0-9]+/&&"-"!~$2 && $3!="" && $1>0  )  print $3}' | wc -l | awk '{print $1}'`
                   if ` tap -gt 0 ` ; then
                      echo $ip >> $LISTT
                   fi
                   done
                
              fi 
            done 
            if [[ -e $LISTT ]] ; then
               cat $LISTT | uniq -c | awk '{print($2)}' > /tmp/.gray_tsld
            tsldEmailTap=`wc -l /tmp/.gray_tsld | awk '{print $1}'`
         if [[ $tsldEmailTap -gt 0 ]] ; then
             #########发送邮件############
         env MAILRC=/dev/null charset="$CHARTSET" from="$MAIL_SENDER" smtp="$MAIL_SERVER" \
         nail -n -s "$HOST_NAME ($IP)爬虫检查过程中在灰名单发现有特殊连接的IP" $MAIL_CLIENT < /tmp/.gray_tsld
            echo "----------------爬虫检查过程中在灰名单发现有特殊连接的IP-------------------" >> $LIMITIPLOG
            cat /tmp/.gray_tsld >> $LIMITIPLOG
            rm -f /tmp/.gray_tsld
          fi
         fi
         fi

fi


rm -f $LISTT
rm -f $LIST
cat $BLACK | awk ' BEGIN { FS="."} {printf "%d.%d.%d\n",$1,$2,$3}' | uniq -c | \
awk '{print($1,$2)}' | \
while read num ip
do
  if [[ $num -gt 1 ]]
  then
    echo "$ip"
    LINECOUNT=$(($LINECOUNT+$num))
  else
    LINECOUNT=$(($LINECOUNT+$num))
    head -n "$LINECOUNT" $BLACK | tail -1 >> $LIST
  fi
done > $LISTT



if [[ -e $LIST ]] ; then
cat $LIST | awk '{print($1)}' | \
# 封锁判断为异常的ip
while read ip
do
    continuetap=`iptables -nL | grep $ip | wc -l | awk '{print $1}'`
    if [[ $continuetap -gt 0 ]] ; then
       continue
    fi
        diptap=`echo $ip | awk '{print($1".0/24")}'` 
        dtap=`iptables -nL | grep $diptap | wc -l | awk '{print $1}'`
        if ` dtap -gt 0 ` ; then
          continue
        fi
     #iptables -A INPUT -s $ip -p tcp --dport $PORT -j REJECT --reject-with tcp-reset 
     iptables -A INPUT -s $ip -p tcp -j DROP
done 
fi


# 封锁异常ip段

if [[ -e $LISTT ]]  ; then
cat $LISTT | awk '{print($1".0/24\n")}'  | \
while read ip
do
    if [[ "$ip" ]] ; then

       continuetap=`iptables -nL | grep $ip | wc -l | awk '{print $1}'`
       if [[ $continuetap -gt 0 ]] ; then
       continue
       fi
      #iptables -A INPUT -s $ip -p tcp --dport $PORT  -j REJECT --reject-with tcp-reset
      iptables -A INPUT -s $ip -p tcp -j DROP
    fi
done
fi




if [[ $now_time_hour -eq 12 ]] ; then



  ############排序iptables表###################
  #选出超过数量1从而作为网段处理
  iptables -nL | awk '/DROP/{print $4}' | awk -F"." '{print $1"."$2"."$3}' | sort | uniq -c | awk '{if($1>1) print $2}' > $SORT_D
  iptables -nL | awk '/DROP/{print $4}'  | \
  while read ip
  do
      ltmp=`echo $ip | awk -F"." '{print $1"."$2"."$3}'`
     if  cat $SORT_D | grep -q "$ltmp"
       then
       echo $ip > /dev/null
     else
       echo $ip >> $SORT_S
     fi
  done

iptables -F
  
if [[ -e $SORT_S ]] ; then
  cat $SORT_S | awk '{print($1)}' | \
  # 封锁判断为异常的ip
while read ip
do
     #iptables -A INPUT -s $ip -p tcp --dport $PORT -j REJECT --reject-with tcp-reset 
     iptables -A INPUT -s $ip -p tcp -j DROP
done 
fi


# 封锁异常ip段

if [[ -e $SORT_D ]]  ; then
   cat $SORT_D | awk '{print($1".0/24")}'  | \
while read ip
do
      #iptables -A INPUT -s $ip -p tcp --dport $PORT  -j REJECT --reject-with tcp-reset
      iptables -A INPUT -s $ip -p tcp -j DROP
done
fi




rm -f $SORT_D
rm -f $SORT_S
  

fi


本文转自 liang3391 51CTO博客，原文链接:http://blog.51cto.com/liang3391/456520

文章标签：
Perl
存储
数据采集
网络协议
关键词：
爬虫脚本
科技小能手
目录
相关文章
QQ872800119
|
3天前
|
数据采集 存储 大数据
Python爬虫：数据获取与解析的艺术
随着大数据时代的到来，数据的重要性日益凸显。Python作为一种易学易用的编程语言，在数据处理和分析方面有着丰富的库支持。其中，爬虫是获取数据的重要手段之一。本文将介绍Python爬虫的基本概念、常用库以及实战案例。
QQ872800119
35 0
QQ872800119
|
11天前
|
数据采集 存储 API
介绍如何使用Python进行网络爬虫开发
网络爬虫与数据采集：介绍如何使用Python进行网络爬虫开发，包括请求网页、解析HTML、提取数据等，并讨论常见的爬虫框架如BeautifulSoup、Scrapy等。
QQ872800119
26 1
狗不理小包
|
12天前
|
数据采集 数据安全/隐私保护 Python
python-爬虫-selenium总结
python-爬虫-selenium总结
狗不理小包
24 0
python-爬虫-selenium总结
小小张说故事
|
14天前
|
数据采集 中间件 Shell
Python爬虫深度优化：Scrapy库的高级使用和调优
在我们前面的文章中，我们探索了如何使用Scrapy库创建一个基础的爬虫，了解了如何使用选择器和Item提取数据，以及如何使用Pipelines处理数据。在本篇高级教程中，我们将深入探讨如何优化和调整Scrapy爬虫的性能，以及如何
小小张说故事
24 0
游客2rhbbwagir4nm
|
20天前
|
数据采集 Python
python 爬虫 佛山区域,爬取餐厅的商户联系人公开号码,实例脚本
python 爬虫 佛山区域,爬取餐厅的商户联系人公开号码,实例脚本
游客2rhbbwagir4nm
33 0
小小张说故事
|
21天前
|
数据采集 JSON 前端开发
Python爬虫进阶：使用Scrapy库进行数据提取和处理
在我们的初级教程中，我们介绍了如何使用Scrapy创建和运行一个简单的爬虫。在这篇文章中，我们将深入了解Scrapy的强大功能，学习如何使用Scrapy提取和处理数据。
小小张说故事
26 2
小白学大数据
|
28天前
|
数据采集 JavaScript API
Python爬虫抓取经过JS加密的API数据的实现步骤
Python爬虫抓取经过JS加密的API数据的实现步骤
小白学大数据
218 0
xiejava
|
28天前
|
数据采集 人工智能 Java
Python爬虫获取电子书资源实战
最近在学习Python，相对java来说python简单易学、语法简单，工具丰富，开箱即用，适用面广做全栈开发那是极好的，对于小型应用的开发，虽然运行效率慢点，但开发效率极高。大大提高了咱们的生产力。为什么python能够在这几年火起来，自然有他的道理，当然也受益于这几年大数据和AI的火。据说网络上80%的爬虫都是用python写的，不得不说python写爬虫真的是so easy。基本上一个不太复杂的网站可以通过python用100多行代码就能实现你所需要的爬取。
xiejava
88 1
Python爬虫获取电子书资源实战
Python小二
|
29天前
|
数据采集 关系型数据库 MySQL
Python 爬虫（七）：pyspider 使用
Python 爬虫之pyspider
Python小二
34 1
Python 爬虫（七）：pyspider 使用
码农技术君
|
数据采集 Python
Python爬虫：scrapy定时运行的脚本
Python爬虫：scrapy定时运行的脚本
码农技术君
230 0
热门文章
最新文章
1
Python爬虫抓取经过JS加密的API数据的实现步骤
2
利用爬虫技术自动化采集汽车之家的车型参数数据
3
Python爬虫获取电子书资源实战
4
Python 爬虫（四）：Selenium 框架
5
Python 爬虫（一）：爬虫伪装
6
数据挖掘微博：爬虫技术揭示热门话题的趋势
7
Python 爬虫（六）： Scrapy的使用
8
Python爬虫基础：使用Scrapy库初步探索
9
Python 爬虫（七）：pyspider 使用
10
Python爬虫：数据获取与解析的艺术
1
Python爬虫：数据获取与解析的艺术
35
2
数据挖掘微博：爬虫技术揭示热门话题的趋势
50
3
爬虫技术对携程网旅游景点和酒店信息的数据挖掘和分析应用
15
4
链家网房源价格信息的爬虫分析工具
23
5
利用爬虫技术自动化采集汽车之家的车型参数数据
169
6
介绍如何使用Python进行网络爬虫开发
26
7
python-爬虫-selenium总结
24
8
多线程与多任务异步协程高效爬虫
11
9
爬虫学习
21
10
爬虫学习(前期知识学习）
10
相关课程
更多
Python网络爬虫实战 Python爬虫实战
相关电子书
更多
Python第五讲——关于爬虫如何做js逆向的思路 如何产生威胁情报-高级恶意攻击案例分析 低代码开发师（初级）实战教程
推荐文章
更多
重磅来袭！参与评测赢Iphone14 pro！ 文件存储NAS评测征集令！ 招募！寻找技术人的伯乐！ 乘风者计划邀您入驻社区，精彩权益即刻享
下一篇
部署并使用Docker（CentOS 8）