开发者社区> 技术小能手> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

用Python爬虫抓取免费代理IP

简介:
+关注继续查看

不知道大家有没有遇到过“访问频率太高”这样的网站提示,我们需要等待一段时间或者输入一个验证码才能解封,但这样的情况之后还是会出现。出现这个现象的原因就是我们所要爬取的网页采取了反爬虫的措施,比如当某个ip单位时间请求网页次数过多时,服务器会拒绝服务,这种情况就是由于访问频率引起的封ip,这种情况靠解封不能很好的解决,所以我们就想到了伪装本机ip去请求网页,也就是我们今天要讲的使用代理ip。

目前网上有许多代理ip,有免费的也有付费的,例如西刺代理等,免费的虽然不用花钱但有效的代理很少且不稳定,付费的可能会好一点,不过今天我只爬取免费的代理并将检测是否可用,将可用ip存入MongoDB,方便下次取出。

运行平台:Windows

Python版本:Python3.6

IDE: Sublime Text

其他:Chrome浏览器

简述流程为:

步骤1:了解requests代理如何使用

步骤2:从代理网页爬取到ip和端口

步骤3:检测爬取到的ip是否可用

步骤4:将爬取的可用代理存入MongoDB

步骤5:从存入可用ip的数据库里随机抽取一个ip,测试成功后返回

对于requests来说,代理的设置比较简单,只需要传入proxies参数即可。

不过需要注意的是,这里我是在本机安装了抓包工具Fiddler,并用它在本地端口8888创建了一个HTTP代理服务(用Chrome插件SwitchyOmega),即代理服务为:127.0.0.1:8888,我们只要设置好这个代理,就可以成功将本机ip切换成代理软件连接的服务器ip了。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

  1. import requests

  2. proxy = '127.0.0.1:8888'

  3. proxies = {

  4. 'http':'http://' + proxy,

  5. 'https':'http://' + proxy

  6. }

  7. try:

  8. response = requests.get('http://httpbin.org/get',proxies=proxies)

  9. print(response.text)

  10. except requests.exceptions.ConnectionError as e:

  11. print('Error',e.args)

这里我是用来http://httpbin.org/get作为测试网站,我们访问该网页可以得到请求的有关信息,其中origin字段就是客户端ip,我们可以根据返回的结果判断代理是否成功。返回结果如下:


  1. {

  2. "args":{},

  3. "headers":{

  4. "Accept":"*/*",

  5. "Accept-Encoding":"gzip, deflate",

  6. "Connection":"close",

  7. "Host":"httpbin.org",

  8. "User-Agent":"python-requests/2.18.4"

  9. },

  10. "origin":"xx.xxx.xxx.xxx",

  11. "url":"http://httpbin.org/get"

  12. }

接下来我们便开始爬取代理IP,首先我们打开Chrome浏览器查看网页,并找到ip和端口元素的信息。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

可以看到,代理IP以表格存储ip地址及其相关信息,所以我们用BeautifulSoup提取时很方便便能提取出相关信息,但是我们需要注意的是,爬取的ip很有可能出现重复的现象,尤其是我们同时爬取多个代理网页又存储到同一数组中时,所以我们可以使用集合来去除重复的ip。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

将要爬取页数的ip爬取好后存入数组,然后再对其中的ip逐一测试。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

这里就用到了上面提到的requests设置代理的方法,我们使用http://httpbin.org/ip作为测试网站,它可以直接返回我们的ip地址,测试通过后再存入MomgoDB数据库。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

连接数据库然后指定数据库和集合,再将数据插入就OK了。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

最后运行查看一下结果吧

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

运行了一段时间后,难得看到一连三个测试通过,赶紧截图保存一下,事实上是,毕竟是免费代理,有效的还是很少的,并且存活时间确实很短,不过,爬取的量大,还是能找到可用的,我们只是用作练习的话,还是勉强够用的。现在看看数据库里存储的吧。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

因为爬取的页数不多,加上有效ip也少,再加上我没怎么爬,所以现在数据库里的ip并不多,不过也算是将这些ip给存了下来。现在就来看看怎么随机取出来吧。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

由于担心放入数据库一段时间后ip会失效,所以取出前我重新进行了一次测试,如果成功再返回ip,不成功的话就直接将其移出数据库。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

这样我们需要使用代理的时候,就能通过数据库随时取出来了。

总的代码如下:


  1. import random

  2. import requests

  3. import time

  4. import pymongo

  5. from bs4 import BeautifulSoup

  6. # 爬取代理的URL地址,选择的是西刺代理

  7. url_ip = "http://www.xicidaili.com/nt/"

  8. # 设定等待时间

  9. set_timeout = 5

  10. # 爬取代理的页数,2表示爬取2页的ip地址

  11. num = 2

  12. # 代理的使用次数

  13. count_time = 5

  14. # 构造headers

  15. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'}

  16. # 测试ip的URL

  17. url_for_test = 'http://httpbin.org/ip'

  18. def scrawl_xici_ip(num):

  19. '''

  20. 爬取代理ip地址

  21. '''

  22. ip_list = []

  23. for num_page in range(1,num):

  24. url = url_ip + str(num_page)

  25. response = requests.get(url,headers=headers)

  26. if response.status_code == 200:

  27. content = response.text

  28. soup = BeautifulSoup(content,'lxml')

  29. trs = soup.find_all('tr')

  30. for i in range(1,len(trs)):

  31. tr = trs[i]

  32. tds = tr.find_all('td')

  33. ip_item = tds[1].text + ':' + tds[2].text

  34. # print(ip_item)

  35. ip_list.append(ip_item)

  36. ip_set = set(ip_list) # 去掉可能重复的ip

  37. ip_list = list(ip_set)

  38. time.sleep(count_time) # 等待5秒

  39. return ip_list

  40. def ip_test(url_for_test,ip_info):

  41. '''

  42. 测试爬取到的ip,测试成功则存入MongoDB

  43. '''

  44. for ip_for_test in ip_info:

  45. # 设置代理

  46. proxies = {

  47. 'http': 'http://' + ip_for_test,

  48. 'https': 'http://' + ip_for_test,

  49. }

  50. print(proxies)

  51. try:

  52. response = requests.get(url_for_test,headers=headers,proxies=proxies,timeout=10)

  53. if response.status_code == 200:

  54. ip = {'ip':ip_for_test}

  55. print(response.text)

  56. print('测试通过')

  57. write_to_MongoDB(ip)

  58. except Exception as e:

  59. print(e)

  60. continue

  61. def write_to_MongoDB(proxies):

  62. '''

  63. 将测试通过的ip存入MongoDB

  64. '''

  65. client = pymongo.MongoClient(host='localhost',port=27017)

  66. db = client.PROXY

  67. collection = db.proxies

  68. result = collection.insert(proxies)

  69. print(result)

  70. print('存储MongoDB成功')

  71. def get_random_ip():

  72. '''

  73. 随机取出一个ip

  74. '''

  75. client = pymongo.MongoClient(host='localhost',port=27017)

  76. db = client.PROXY

  77. collection = db.proxies

  78. items = collection.find()

  79. length = items.count()

  80. ind = random.randint(0,length-1)

  81. useful_proxy = items[ind]['ip'].replace('\n','')

  82. proxy = {

  83. 'http': 'http://' + useful_proxy,

  84. 'https': 'http://' + useful_proxy,

  85. }

  86. response = requests.get(url_for_test,headers=headers,proxies=proxy,timeout=10)

  87. if response.status_code == 200:

  88. return useful_proxy

  89. else:

  90. print('此{ip}已失效'.format(useful_proxy))

  91. collection.remove(useful_proxy)

  92. print('已经从MongoDB移除')

  93. get_random_ip()

  94. def main():

  95. ip_info = []

  96. ip_info = scrawl_xici_ip(2)

  97. sucess_proxy = ip_test(url_for_test,ip_info)

  98. finally_ip = get_random_ip()

  99. print('取出的ip为:' + finally_ip)

  100. if __name__ == '__main__':

  101. main()



原文发布时间为:2018-06-27
本文作者:HDMI
本文来自云栖社区合作伙伴“Python中文社区”,了解相关信息可以关注“Python中文社区”。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Python爬虫系列17-批量抓取某短视频平台某用户的全部作品
不那么好走的路,才是上坡路. 所有往上的路,都与我们本能的懒惰、懈怠和拖延不相容。 当你觉得很苦很累时,不要泄气,因为你可能走在上坡的路上。
34 0
Python爬虫系列8-抓取快乐8、刮刮乐、双色球等中奖数据分析规律
人在绝大多数情况下,只要稍微有那么一点的退路,有那么一点余地,就可以成为逃避的借口和理由。努力装装样子,然后给自己一个台阶下,安慰自己说,“你看我已经很努力了,还是不行,那就算了吧”。 老话说得好:只有主动追求的东西才能到手;只要你想做,全世界都会帮你;只要你不想做,一只蚊子都能拦住你。虽说未来可期,但如果你连相信自己的勇气都没有,还有什么资格得到更好的呢。对吧!
84 0
python爬虫抓取富贵论坛
本人是个爬虫小萌新,看了网上教程学着做了一些,如果有什么问题请大佬们反馈,谢谢。
149 0
python爬虫-抓取内涵吧内涵段子
这是个python简易爬虫,主要使用了requests和re模块,适合入门。 出处:https://github.com/jingsupo/python-spider/blob/master/day03/04neihanba.
839 0
Python爬虫:scrapy管理服务器返回的cookie
Python爬虫:scrapy管理服务器返回的cookie
37 0
+关注
技术小能手
云栖运营小编~
文章
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
Python第五讲——关于爬虫如何做js逆向的思路
立即下载
Python 系列直播——深入Python与日志服务,玩转大规模数据分析处理实战第二讲
立即下载
ACE 区域技术发展峰会:Flink Python Table API入门及实践
立即下载