Curl是Linux下一个很强大的http命令行工具，其功能十分强大。


支持多种协议，包括FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET等。


最简单的用法：

抓取www.cnbeta.com的源码并显示

[root@club shell]# curl www.cnbeta.com  


本脚本进行过滤提取curl抓取的html源码中的信息，将信息进行处理。


curl支持很多选项，-i：只查看http头部信息，-o:将获取的结果保存在一个文件中


这里不全部列出了，更详细的介绍可以参见此博文：http://blog.51yip.com/linux/1049.html，或者man curl


本脚本功能：

实现收集可以查询IP的网站，并将网站的域名，IP地址，和物理地址存储显示出来。


最终效果：

收集网页中：


收集结束后：



脚本和注释：


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
#!/bin/bash
#使用方式:脚本后面提供一个搜索引擎关键词，用来搜索可以查IP的网站，比如 “IP”、“IP查询” 等关键词
#
#判断参数是否为空，为空则提示加参数，然后退出脚本
[ -z $1 ] &&  echo  "you must give a keyword"  &&  exit  4
clear
#此变量存储当前检测第几个网页
STEP=1
#此变量存储搜索关键词，是脚本传递进来的值
KEYWORD=$1
#如果当前目录存在info.txt则删除这个文件
[ -e info.txt ] &&  rm  -rf info.txt
echo  "获取本机公网地址中。。。。"
#此循环用来获取公网地址，如果获取不到则显示获取失败，并再次进行获取，如何获取到则退出循环。
while  true ; do
#用curl访问http://ip.chinaz.com页面，提取出公网IP地址。
MYIPADDR=`curl  "http://ip.chinaz.com/"  2> /dev/null  |  grep  "您的IP:"  |  awk  -F  'strong|>|<'  '{print $6}' `
if  [ -z $MYIPADDR ]; then
     echo  "获取公网地址失败"
else
     echo  "本机公网地址:$MYIPADDR"
     break
fi
done
#先定义此变量，用来存储当前搜索页面的最后一个页码
FINPAGE=1
#此变量存储搜索页码
PN=1
#当前搜索页小于等于当前搜索页的最后一个页码时，则进入循环。
while  [ $PN - le  $FINPAGE ]; do
     #显示当前第几个搜索页。
     echo  -e  "\033[34;1m当前第$PN搜索页\033[0m\n"
       
     #用的是360的搜索引擎，因为百度的源码是压缩过的，提取字符比较困难。www.so.com/s?q=$KEYWORD&pn=$PN 这个url中，q=后面是搜索词，pn=后面是搜索结果的页码。分析一下360的搜索页就能看出。
       
     #用grep和awk提取出当前页面的最后一个页码。
     FINPAGE=`curl  "www.so.com/s?q=$KEYWORD&pn=$PN&j=0"  2> /dev/null  |  grep  '<strong>'  |  awk  -F  '<strong>|</strong>'  '{print $2}' `
     echo  "遍历当前搜索页可能页面的地址。。。"
       
     #提取出当前搜索页结果的所有网页地址。保存在WEBLIST变量中。
     WEBLIST=`curl  "http://www.so.com/s?q=$KEYWORD&pn=$PN&j=0"  2> /dev/null  |  grep  "</h3>"   |  awk  -F  'href='  '{print $2}'  |  cut  -d  '"'  -f2`
     echo  -e  "遍历完成。。。开始筛选符合条件的网页。。。\n"
       
     #遍历当前搜索页的每个网页，分析网页中的内容。
     for  i  in  ` echo  $WEBLIST`;  do
         #打印相关信息。
         echo  -e  "当前检测第\033[33;1m$STEP\033[0m个网页,当前搜索页一共有`echo -e $WEBLIST | awk '{print NF}'`个网页"
           
         #用curl抓取当前网页的内容，匹配一下自己的公网地址。
         curl -m 5 $i 2> /dev/null  |  grep  $MYIPADDR >  /dev/null
           
         #如果匹配到，说明此网站可以查询IP地址信息。
         if  [ $? - eq  0 ]; then
             echo  -e  "\033[32;1m$i 符合，此网站可以查询IP信息\033[0m"
               
             #提取当前网页的域名，保存在DONAME变量中。
             DONAME=` echo  "$i"  | sed  's#^http://\(.*\)/*$#\1#g'  | cut  -d/ -f1`
               
             #用ping命令去解析此域名本地dns解析出来的IP地址，也就是这个可以查询IP地址信息网站的IP地址，保存在WEBIPADDR变量中
             WEBIPADDR=` ping  -c 1 -w 1 $DONAME | cut  -d/ -f1 |  head  -1 |  awk  -F  '('  '{print $2}'  | cut  -d ')'  -f1`
               
             #用curl在http://ip.chinaz.com上解析出此网站IP的物理地址。保存在PHYADD变量中。
             PHYADD=`curl  "http://ip.chinaz.com/?IP=$WEBIPADDR"  2> /dev/null  |  grep  -A 1  '<span id="status" class="info1">'  |  tail  -1 |  awk  -F  '==>>'  '{print $NF}'  |  cut  -d  '<'  -f1`
             #将相关信息保存在info.txt中
             echo  -e  "$DONAME\t\t\t--\t\t\t$WEBIPADDR\t\t--\t\t$PHYADD"  >> info.txt
               
         else
         echo  -e  "\033[31;1m$i 此网站pass\033[0m"
         fi
         let  STEP+=1
     done
     let  PN+=1
     let  FINPAGE+=1
done
#将最后的结果进行去重，保存在result中。
cat  info.txt |  sort  |  uniq  > result.txt
#显示出结果。
echo  -e  "\n\n结果显示：--------------------"
cat  result.txt

本文转自lustlost 51CTO博客，原文链接：http://blog.51cto.com/lustlost/1209349，如需转载请自行联系原作者