HTML解析之BeautifulSoup

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: HTML解析之BeautifulSoup

BeautifulSoup4简称bs4,是爬虫必学的三方库,它是一个HTML/XML的解析器,主要是解析和提取 HTML/XML 数据,Beautiful Soup 是基于HTML DOM的,会载入整个文档,解析整个DOM树,而lxml(使用Xpath语法解析网页数据)是局部遍历,因此时间和内存开销都会大很多,所以性能要低于lxml。

官方文档:https://beautifulsoup.readthedocs.io/zh_CN/latest/

pip 安装:

pip install bs4`或者`pip install beautifulsoup4

BeautifulSoup使用语法:

from bs4 import BeautifulSoup
# 实例化一个BeautifulSoup对象,加载页面源码
soup = BeautifulSoup(要解析的文本, "解析器")
# 可以加载互联网上的页面到BeautifulSoup对象中。
soup = BeautifulSoup(res.text, "lxml")
# 可以加载本地html文档或者互联网上的页面到BeautifulSoup对象中。
fp = open('./demo.html','r',encoding='utf-8')
soup = BeautifulSoup(fp, "lxml")
# 调用对象中的相关属性和方法进行标签定位和数据提取
print(soup.p)

常用的解析器

img

推荐使用lxml作为解析器,因为效率更高。

需要安装:pip install lxml

常用的属性和方法

「首先,定义一个html文档字符串:」

html_doc = """
<html><head><title>The Dormouse's story</title></head>
    <body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister1" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

「不知道文档html的格式和组织,使用prettify()按照网页格式输出」

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
print(soup.prettify()) 

img

访问标签tag

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
print(type(soup.p))
print(soup.p) # 查找p标签,找到第一个
print(soup.title) # 查找title标签
print(soup.title.name) # 输出title标签的名字
print(soup.body.a) # body标签下的a标签
print(soup.a.parent.name) # a标签父节点的标签名字
输出:
# <class 'bs4.element.Tag'>
# <p class="title"><b>The Dormouse's story</b></p>
# <title>The Dormouse's story</title>
# title
# <a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>
# p

获取标签属性值

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
print(soup.p['class']) # 查找p标签中class内容
#  ['title']
print(soup.a.attrs) # 返回一个字典,获取标签所有属性
# # {'href': 'http://example.com/elsie', 'class': ['sister1'], 'id': 'link1'}
print(soup.a.attrs['href']) # 获取标签指定属性
#  http://example.com/elsie

搜索遍历文档

有时候根据文档结构不能直接获取标签,则可以使用find()和find_all()方法获取。

「find(name,attrs,...)」:查找标签,返回的是一个bs4.element.Tag对象,有多个结果,只返回第一个,没有返回None

「find_all(name,attrs,...)」:返回的是一个bs4.element.Tag对象组成的list,不管有没有找到,都是list

最常用的用法是出入name以及attr参数找出符合要求的标签。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
print(soup.find('a')) # 查找第一个a标签
#  <a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>

# 查找id属性是link3的a标签
print(soup.find('a', id="link3"))
#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

# class是python中的内置关键字,class属性后加_ class_
print(soup.find('a',class_="sister1"))
#  <a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>

#  搜索所有标签
print(soup.find_all('a')) # 查找所有a标签list
# [<a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

# 列表索引
print(soup.find_all('a')[2])
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
# 列表查找,返回所有a标签和b标签
print(soup.find_all(['p','a']))

获取标签文本内容

「soup.标签.text/get_text():」 获取标签中所有文本内容,包括子节点

「soup.标签.string:」 获取到最里层标签,可以直接用.string的方法获取标签内的文字

「find+contents:」 如果不是最里层的标签,可以用find+contents的方法,该方法返回的是一个列表,获取的是标签内所有内容,可以根据索引获取特定的文本。

print(soup.a.text)
print(soup.a.string)
print(soup.a.get_text())
# Elsie
# Elsie
# Elsie

print(soup.find('p',class_="story").text)
# Elsie,
# Lacie and
# Tillie;
# and they lived at the bottom of a well.

print(soup.find_all('a')[0].text)
# Elsie

print(soup.find('p').contents[0].text)
# The Dormouse's story
目录
相关文章
|
5天前
|
数据采集 XML API
深入解析BeautifulSoup:从sohu.com视频页面提取关键信息的实战技巧
深入解析BeautifulSoup:从sohu.com视频页面提取关键信息的实战技巧
|
2月前
|
XML 数据采集 数据格式
Python 爬虫必备杀器,xpath 解析 HTML
【11月更文挑战第17天】XPath 是一种用于在 XML 和 HTML 文档中定位节点的语言,通过路径表达式选取节点或节点集。它不仅适用于 XML,也广泛应用于 HTML 解析。基本语法包括标签名、属性、层级关系等的选择,如 `//p` 选择所有段落标签,`//a[@href=&#39;example.com&#39;]` 选择特定链接。在 Python 中,常用 lxml 库结合 XPath 进行网页数据抓取,支持高效解析与复杂信息提取。高级技巧涵盖轴的使用和函数应用,如 `contains()` 用于模糊匹配。
|
19天前
|
数据采集 XML 数据格式
解析Amazon搜索结果页面:使用BeautifulSoup
解析Amazon搜索结果页面:使用BeautifulSoup
|
2月前
|
数据采集 JavaScript API
网页解析库:BeautifulSoup与Cheerio的选择
网页解析库:BeautifulSoup与Cheerio的选择
|
2月前
|
XML JavaScript 前端开发
如何解析一个 HTML 文本
【10月更文挑战第23天】在实际应用中,根据具体的需求和场景,我们可以灵活选择解析方法,并结合其他相关技术来实现高效、准确的 HTML 解析。随着网页技术的不断发展,解析 HTML 文本的方法也在不断更新和完善,
|
2月前
|
JavaScript API 开发工具
<大厂实战场景> ~ Flutter&鸿蒙next 解析后端返回的 HTML 数据详解
本文介绍了如何在 Flutter 中解析后端返回的 HTML 数据。首先解释了 HTML 解析的概念,然后详细介绍了使用 `http` 和 `html` 库的步骤,包括添加依赖、获取 HTML 数据、解析 HTML 内容和在 Flutter UI 中显示解析结果。通过具体的代码示例,展示了如何从 URL 获取 HTML 并提取特定信息,如链接列表。希望本文能帮助你在 Flutter 应用中更好地处理 HTML 数据。
143 1
|
3月前
|
XML 数据格式
HTML 实例解析
本文介绍了HTML中常见元素的使用方法,包括`&lt;p&gt;`、`&lt;body&gt;`和`&lt;html&gt;`等。详细解析了这些元素的结构和作用,并强调了正确使用结束标签的重要性。此外,还提到了空元素的使用及大小写标签的规范。
|
2月前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
102 2
|
18天前
|
存储 设计模式 算法
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析
行为型模式用于描述程序在运行时复杂的流程控制,即描述多个类或对象之间怎样相互协作共同完成单个对象都无法单独完成的任务,它涉及算法与对象间职责的分配。行为型模式分为类行为模式和对象行为模式,前者采用继承机制来在类间分派行为,后者采用组合或聚合在对象间分配行为。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象行为模式比类行为模式具有更大的灵活性。 行为型模式分为: • 模板方法模式 • 策略模式 • 命令模式 • 职责链模式 • 状态模式 • 观察者模式 • 中介者模式 • 迭代器模式 • 访问者模式 • 备忘录模式 • 解释器模式
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析
|
18天前
|
设计模式 存储 安全
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
结构型模式描述如何将类或对象按某种布局组成更大的结构。它分为类结构型模式和对象结构型模式,前者采用继承机制来组织接口和类,后者釆用组合或聚合来组合对象。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象结构型模式比类结构型模式具有更大的灵活性。 结构型模式分为以下 7 种: • 代理模式 • 适配器模式 • 装饰者模式 • 桥接模式 • 外观模式 • 组合模式 • 享元模式
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析

推荐镜像

更多