用xpath和BeautifulSoup获取免费代理

本文涉及的产品
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 最近看到一篇文章:「关于爬虫,这里有一份《中国焦虑图鉴》」,对于爬虫分析的很透彻,建议大家看一下。想围观的朋友自己搜索题目就可以找到。如果你要问我在哪里搜索,我只会让你试着自己找答案。

最近看到一篇文章:「关于爬虫,这里有一份《中国焦虑图鉴》」,对于爬虫分析的很透彻,建议大家看一下。想围观的朋友自己搜索题目就可以找到。


如果你要问我在哪里搜索,我只会让你试着自己找答案。因为在你学习的过程中一定会遇到各种各样奇奇怪怪的问题,难道都要问别人吗?在学校有老师解答你的疑惑,走出学校,我们要试着自己独立解决问题。我经常去的Stack Overflow上面,别人提的问题都是经过自己独立思考,看到提问者对问题的理解,为解决问题尝试过哪些方法,最后还是没有解决才来提问,希望我们也能如此。


不扯别的,我们知道在爬虫中最重要的不是后两步,即解析数据,保存数据,最重要的还是请求数据。

在爬取小规模的网页,数据规模不大,网页没有什么反爬技术的情况下,我们的爬虫还是很好玩的,一旦我们要爬取的网页反爬很强,我们获取的数据量又非常大时,我们很容易就会被封ip,一旦IP被封,爬虫就无法继续下去。

常规的伪造请求头,构造参数已经没有办法解决我们的问题。

在爬虫的世界里,永远都是跟网页的反爬技术做斗争,封了我们的ip,我们还可以伪造ip,今天就带大家获取一些免费的ip。


这里请求的是一个国内免费的ip髙匿代理IP网站:http://www.xicidaili.com/nn/

请求一页就可以了,今天的代码帮助大家随机生成一个该网站上提供的ip地址。

请求网页


classSpider():

'''随机获取一个IP地址'''

def__get_page(self):

'''获取数据,添加请求头'''

url ='http://www.xicidaili.com/nn/'

       headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36'

' (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

           }

       r = requests.get(url,headers=headers)

ifr.status_code ==200:

print('爬取成功')

returnr.text


由于这个ip代理网站没有什么反爬技术,基本上带个请求头就可以了。

解析网页

这里用了两种方式解析网页


def__parse_page(self,html):

'''这里用了两种方式获取解析IP,返回一个ip列表'''

'''soup = BeautifulSoup(html,'lxml')

       ips = soup.find_all('tr')#先找到节点tr

       ip_list = []

       for i in range(1,len(ips)):

           ip_info = ips[i]

           tds = ip_info.find_all('td')

           ip_list.append(tds[1].text + ':' +tds[2].text)

       return ip_list'''

       data = etree.HTML(html)

items = data.xpath('//tr[@class="odd"]')

       ip_list = []

foriteminitems:

ips = item.xpath('./td[2]/text()')[0]

tds = item.xpath('./td[3]/text()')[0]

ip_list.append(ips +':'+ tds)

returnip_list


这里比较来看,我还是倾向于用xpath,一来简单,再者性能还好,相比较BeautifulSoup来说,性能就没那么好了。

处理数据

接下来是一个随机函数,生成一个随机ip地址:


def__get_random_ip(self,ip_list):

       proxy_list = []

foripinip_list:

#遍历ip列表,添加http://

proxy_list.append('http://'+ ip)

proxy_ip = random.choice(proxy_list)#随机返回一个ip

proxies = {'http':proxy_ip}#构造成字典。

returnproxies

defrun(self):

html =self.__get_page()

ip_list =self.__parse_page(html)

proxy =self.__get_random_ip(ip_list)

       print(proxy)

if__name__=='__main__':

   spider = Spider()

   spider.run()

   程序运行后,控制台输出:

{'http':'http://110.73.8.27:8123'}


程序运行后随机生成一个ip地址,你可以拿去用,当然你也可以导入你需要伪装ip的程序里。


总结

看了开篇提到的那篇文章之后,结合最近看到听到的消息,在想这样一个问题「爬虫犯法吗?」

爬虫犯不犯法,看你抓取的数据是什么内容,就好比百度,谷歌的搜索引擎每天在各个网站上爬到数据,展现给你。当然不犯法。

有位爬虫大佬这样说:

公开可查的就可以爬,这个就没啥事。那些用某些特殊权限的账号登录才可以的那就比较危险。还有必须破解才能爬的就构成犯罪了,另外,都建议使用代理ip,一个反爬,一个隐藏真实ip。

所以对于我们小白来说完全没有问题,只要不触碰一些敏感未公开的数据就没事。

公众号sixkery,专注于python爬虫。有任何学习上的问题都可以后台联系我哦

目录
相关文章
|
2月前
|
XML 数据采集 API
MechanicalSoup与BeautifulSoup的区别分析
MechanicalSoup与BeautifulSoup的区别分析
49 2
MechanicalSoup与BeautifulSoup的区别分析
|
7月前
|
XML 数据格式
Beautiful Soup 库提供了许多常用的方法
【5月更文挑战第10天】Beautiful Soup库用于HTML/XML文档解析和操作,提供初始化、查找、提取信息及修改文档的方法。如:find()和find_all()查找元素,.string或.get_text()获取文本,.attrs获取属性,.append()、.insert()、.remove()、.replace_with()、.unwrap()和.wrap()修改文档结构。还有.prettify()格式化输出,.encode()和.decode()处理编码。这些功能组合使用可灵活处理文档信息。
42 1
WK
|
3月前
|
XML 前端开发 API
Beautiful Soup有哪些支持功能
Beautiful Soup是一个强大的Python库,用于从HTML或XML文件中提取数据。它支持多种解析器,如html.parser、lxml和html5lib,能灵活应对不同格式的文档。通过丰富的API,可以轻松遍历解析树,按标签名、属性或字符串内容搜索和提取数据。此外,Beautiful Soup还支持简单的树修改操作,处理不同编码的文档,并具备良好的容错性。从4.0版本起,它引入了CSS选择器,使搜索更加便捷。详尽的官方文档和广泛的社区支持使其成为处理网页数据的理想选择。
WK
52 1
WK
|
3月前
|
XML 移动开发 数据格式
Beautiful Soup支持哪些解析器
Beautiful Soup是一款强大的库,用于解析HTML和XML文档。它支持多种解析器,包括Python标准库中的`html.parser`、lxml的HTML和XML解析器以及html5lib。`html.parser`无需额外安装,但速度较慢;lxml则基于C语言,速度快且支持XPath;html5lib则完全支持HTML5标准,容错性好但速度较慢。用户可通过`features`参数指定解析器,选择最适合需求的解析器可提升效率与准确性。
WK
255 2
|
7月前
|
XML 前端开发 数据格式
​Beautiful Soup 4.12.0 文档(一)
​Beautiful Soup 4.12.0 文档(一)
|
7月前
|
XML 机器学习/深度学习 移动开发
​Beautiful Soup 4.12.0 文档(三)
​Beautiful Soup 4.12.0 文档(三)
|
7月前
|
XML 前端开发 数据格式
​Beautiful Soup 4.12.0 文档(二)
​Beautiful Soup 4.12.0 文档(二)
|
7月前
|
数据采集 开发者 Python
使用urllib和BeautifulSoup解析网页中的视频链接
使用urllib和BeautifulSoup解析网页中的视频链接
|
7月前
|
数据采集 XML 前端开发
Python爬虫 Beautiful Soup库详解#4
BeautifulSoup基础,节点选择器,方法选择器,css选择器【2月更文挑战第14天】
97 1
|
数据采集 前端开发 Python
【Python爬虫】用beautifulsoup4库遇到的错误及处理
在这里对使用beautifulsoup时遇到的问题进行汇总。
下一篇
DataWorks