网络爬虫很多时候都需要代理ip,但代理ip不是凭空而来,得我们自己去网站获取免费的或者购买付费的。拿到代理ip后,第一件事不是直接使用,而是先检测代理ip是否可用,下面来介绍检验代理ip的两个小办法:
- Ping
第一种办法是最简单的的方法,那就是直接使用ping命令去检验,那么如何判断这个ip是否可用呢?我们只需要查看它返回是不是超时就可以判断了。
这个方法虽然是最简单的,但未必是最实用的,因为这个检验方法需要我们自己手动操作,只适合检验ip数量少的时候使用。
- Requests
# python 3.6+ import requests url = "http://www.xxx.com/" ip, port = "98.137.119.73", "0110" proxies = {"http": f"http://{ip}:{port}"} headers = {"User-Agent": "Mozilla/5.0"} #响应头 res = requests.get(url, proxies=proxies, headers=headers) #发起请求 print(res.status_code) #返回响应码
第二个办法就是在这个代码里面更换ip和端口就可以了,如果运行代码返回的状态码是200那就是ip有效,如果是502则反之,是无效。
总结
测试代理ip的方法有很多种,上面两种只是其中之二。就目前而言,如果是付费代理那可用性几乎不用怀疑可用性,但免费的ip就需要我们注意了。