背景：利用爬虫，爬取网站页面广告元素，监控爬取元素的数目，定时发送监控邮件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
 
'''
@xiayun
@896365105@qq.com
#爬取网站内容，利用phantomjs:IP代理+修改UA+动态页面执行JS
'''
 
from  selenium  import  webdriver
from  selenium.webdriver.common.desired_capabilities  import  DesiredCapabilities
import  time
import  urllib,urllib2
import  smtplib
import  re
from  email.mime.text  import  MIMEText
from  email.header  import  Header
import  sys
 
 
def  reptile():
     global  result, data
     #proxy_ip.txt为IP代理池，可以自己爬IP，也可以买，不过都不稳定，
     #需要在前面再加一个IP验证程序。
     IPS  =  [i  for  i  in  open ( "./proxy_ip.txt" ,  'r' ).readline().split( '\n' )  if  i]
     print  IPS
     for  i  in  IPS:
         service_args  =  []
         service_args  =  [ '--proxy-type=HTTP' ,]
         IP_str  =  ''.join(i)
         print  IP_str
         proxy_IP  =  '--proxy=%s'  %  IP_str
         service_args.append(proxy_IP)
         dcap  =  dict (DesiredCapabilities.PHANTOMJS)
         #创建UA头
         dcap[ "phantomjs.page.settings.userAgent" ]  =  ('Mozilla / 5.0  (baomihua@iPhone; 
         CPU iPhone OS  9_1  like Mac OS X) AppleWebKit / 601.1 . 46  (KHTML, like Gecko) 
         Version / 9.0  Mobile / 13B143  Safari / 601.1 ')
         #利用phantomjs仿浏览器动作，参数2是代理IP
         driver  =  webdriver.PhantomJS(desired_capabilities = dcap, service_args = service_args)
         #设置访问超时时间
         driver.implicitly_wait( 60 )
         driver.set_page_load_timeout( 60 )
         try :
             driver.get( '网页地址' )
         except :
             print  "timeout"
         finally :
             data  =  driver.page_source
             time.sleep( 20 )
 
             req  =  r "广告元素"
             rule1  =  re. compile (req)
             lists  =  re.findall(rule1, data)
             counts  =  len (lists)
             print  counts
             # print data
             driver.quit()
             #判断广告元素是否为22
             if  counts  = =  22 :
                 print  "The webpage is OK!"
                 result  =  "The webpage  is  OK!Find  22  广告元素!
                 proxy_IP: % s "  %  IP_str
                 break
             if  counts ! =  22 :
                 #IPS.remove(i)
                 print  "%s is bad!"  %  i.strip()
                 result  =  "The webpage maybe bad"
     print  "close"
     #返回结果和网页代码
     return  result, data
 
 
def  send_mail(result,data):
     
     receivers  =  [ 'XXX@XX.com' ]  #接收人
     mail_host  =  'smtp.exmail.qq.com'  #代理邮箱smtp协议
     mail_user  =  'xxx@xxx.com'  #发送人
     mail_pass  =  'xxxx'   #密码
     mail_postfix  =  'xxxx'   #发件箱的后缀
     title  =  str (result)
     msg  =  MIMEText(data,  'plain' ,  'utf-8' )   #文本格式内容
     me  =  title.decode( 'utf-8' )  +  "<"  +  mail_user  +  ">"
     msg[ 'Subject' ]  =  Header(title,  'utf-8' )
     msg[ 'From' ]  =  Header(me,  'utf-8' )
     msg[ 'To' ]  =  Header( ";" .join(receivers),  'utf-8' )
     try :
         s  =  smtplib.SMTP()
         s.connect(mail_host)
         s.login(mail_user, mail_pass)
         s.sendmail(me,receivers , msg.as_string())
         s.close()
         print  "发送成功"
         return  True
     except  smtplib.SMTPException:
         print  "Error: 无法发送邮件"
         return  False
 
if  __name__  = =  '__main__' :
     while  1 :
         print  'start'  +  ' '  +  ''.join(time.ctime(time.time()))
         result, data  =  reptile()
         send_mail(result = result, data = data)
         print  'stop'  +  ' '  +  ''.join(time.ctime(time.time()))
         time.sleep( 600 )
     sys.exit( 0 )