- 1.通过pip install bs4将bs4包进行安装
- 2.导入包from bs4 import BeautifulSoup
- 3.把页面源代码交给BeautifulSoup进行处理, 生成bs对象
page = BeautifulSoup(resp.text, "html.parser") # 指定html解析器,如果不指定解析器不会报错,但是会爆红 - 4.从bs对象中查找数据
# find(标签, 属性=值)
# find_all(标签, 属性=值) 5.在指定属性的过程中,例如class和id等是python的关键字,所以直接使用python关键字会发现报错,有两种解决方式:
第一种是在关键字后加_可解决问题,例如:class_ table = page.find("table", class_="hq_table") 第二种是使用attrs{},例如: table = page.find("table", attrs={"class": "hq_table"})
python爬虫时使用Bs4常见的问题
2022-04-14
371
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
python爬虫爬取网页的时候,可以使用BeautifulSoup语法来进行操作
目录
相关文章
|
14天前
|
数据采集
JSON
算法
|
14天前
|
数据采集
JSON
算法
|
11天前
|
数据采集
缓存
Java
|
10天前
|
数据采集
Web App开发
数据可视化
|
14天前
|
数据采集
JavaScript
前端开发
|
14天前
|
数据采集
前端开发
NoSQL
|
15天前
|
数据采集
消息中间件
API
|
15天前
|
数据采集
JSON
网络协议
|
15天前
|
数据采集
调度
Python
|
15天前
|
数据采集
Python