开发者社区> 五岳之巅> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

mechanize模拟浏览器行为使用总结

简介:     mechanize是对urllib2的部分功能的替换,能够更好的模拟浏览器行为,在web访问控制方面做得更全面。结合beautifulsoup和re模块,可以有效的解析web页面,我比较喜欢这种方法。
+关注继续查看

    mechanize是对urllib2的部分功能的替换,能够更好的模拟浏览器行为,在web访问控制方面做得更全面。结合beautifulsoup和re模块,可以有效的解析web页面,我比较喜欢这种方法。

    下面主要总结了使用mechanize模拟浏览器的行为和几个例子(谷歌搜索,百度搜索和人人网登录等)

1.初始化并建立一个浏览器对象

    如果没有mechanize需要easy_install安装,以下代码建立浏览器对象并作了一些初始化设置,实际使用过程可以按需开关。其实只用默认的设置也可以完成基本任务。

  1. #!/usr/bin/env python
  2. import sys,mechanize

  3. #Browser
  4. br = mechanize.Browser()

  5. #options
  6. br.set_handle_equiv(True)
  7. br.set_handle_gzip(True)
  8. br.set_handle_redirect(True)
  9. br.set_handle_referer(True)
  10. br.set_handle_robots(False)

  11. #Follows refresh 0 but not hangs on refresh > 0
  12. br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

  13. #debugging?
  14. br.set_debug_http(True)
  15. br.set_debug_redirects(True)
  16. br.set_debug_responses(True)

  17. #User-Agent (this is cheating, ok?)
  18. br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]


2.模拟浏览器行为

    浏览器对象建立并初始化完毕之后即可使用了,下面给出几个例子(代码承接以上部分)

获取web网页

    分行打印可以逐个查看详细信息,就不赘述

  1. r = br.open(sys.argv[1])
  2. html = r.read()
  3. print html
  4. print br.response().read()
  5. print br.title()
  6. print r.info()


模拟谷歌和百度查询

    打印和选择forms,然后填写相应键值,通过post提交完成操作

  1. for f in br.forms():
  2.     print f

  3. br.select_form(nr=0)
    谷歌查询football

  1. br.form['q'] = 'football'
  2. br.submit()
  3. print br.response().read()


    百度查询football

  1. br.form['wd'] = 'football'
  2. br.submit()
  3. print br.response().read()
 
    相应键值名,可以通过打印查出


回退(Back)

    非常简单的操作,打印url即可验证是否回退

# Back
br.back()
print br.geturl()

3.http基本认证

br.add_password('http://xxx.com', 'username', 'password')
br.open('http://xxx.com')

4.form认证

    以登陆人人网为例,打印forms可以查出用户名和密码键信息

br.select_form(nr = 0)
br['email'] = username
br['password'] = password
resp = self.br.submit()


5.cookie支持

    通过导入cookielib模块,并设置浏览器cookie,可以在需要认证的网络行为之后不用重复认证登陆。通过保存session cookie即可重新访问,Cookie Jar完成了该功能。

  1. #!/usr/bin/env python
  2. import mechanize, cookielib

  3. br = mechanize.Browser()
  4. cj = cookielib.LWPCookieJar()
  5. br.set_cookiejar()


6.proxy设置

设置http代理


  1. #Proxy
  2. br.set_proxies({"http":"proxy.com:8888"})
  3. br.add_proxy_password("username", "password")

  4. #Proxy and usrer/password
  5. br.set_proxies({"http":"username:password@proxy.com:8888"})


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
浏览器工作原理总结-页面渲染篇
在前段时间的面试中,许多候选人对于浏览器中代码的执行过程都不甚了解,多数是只停留在知道个大概。最近正好在极客时间上拜读了大神的浏览器工作原理,读完对浏览器工作原理有种豁然开朗之感,趁有空余时间就把自己对这块的理解整理了一下,希望对各位小伙伴能有所帮助吧。
0 0
【selenium】浏览器控制方法
简介:【selenium】浏览器控制方法
0 0
浏览器工作原理和实践(一)——浏览器
  《浏览器工作原理与实践》是极客时间上的一个浏览器学习系列,在学习之后特在此做记录和总结。
0 0
C#学习之简单浏览器
using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Threading.Tasks; using S
834 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
基于浏览器的实时构建探索之路
立即下载
WEB浏览器中即将发生的安全变化
立即下载
基于浏览器的实时构建探索之路--玄寂
立即下载