AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

解析数据的Beautiful Soup 模块（二）

2024-10-09 127
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 解析数据的Beautiful Soup 模块（二）

接上文 解析数据的Beautiful Soup 模块（一）https://developer.aliyun.com/article/1617924?

find_all()——获取所有符合条件的内容

Beautiful Soup提供了一个find_all()方法，该方法可以获取所有符合条件的内容。语法格式如下：

find_all(name = None, attrs = {
   }, recursive = True, text = None, limit = None, **kwargs)

• 1. name参数

name参数用来指定节点名称，指定该参数以后将返回一个可迭代对象，所有符合条件的内容均为对象中的一个元素。代码如下：

#_*_coding:utf-8_*_
# 作者      ：liuxiaowei
# 创建时间   ：2/6/22 10:06 PM
# 文件      ：find_all(name)通过节点名称获取内容.py
# IDE      ：PyCharm

from bs4 import BeautifulSoup  # 导入BeautifulSoup库

# 创建模拟HTML代码的字符串
html_doc = """
<html>
<head>
    <title>关联获取演示</title>
    <meta charset="utf-8"/>
</head>

<body>
<p class="p-1" value = "1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>
<p class="p-2" value = "2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>
<p class="p-3" value = "3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>
<div class="div-2" value = "4"><a href="https://item.jd.com/12550531.html">Python编程锦囊</a></div>
</body>
</html>
"""
# 创建一个BeautifulSoup对象，获取页面正文
soup = BeautifulSoup(html_doc, features="lxml")
print(soup.find_all(name='p'))           # 打印名称为p的所有节点内容
print(type(soup.find_all(name='p')))     # 打印数据类型

程序运行结果如下：

[<p class="p-1" value="1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>, <p class="p-2" value="2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>, <p class="p-3" value="3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>]
<class 'bs4.element.ResultSet'>

说 明

bs4.element.ResultSet类型的数据与Python中的列表类似，如果想获取可迭代对象中的某条件数据可以使用切片的方式进行，如获取所有P节点中的第一个可以参考如下代码：

print(soup.find_all(name='p')[0])   # 打印所有p节点中的第一个元素

因为bs4.element.ResultSet数据中的每一个元素都是bs4.element.Tag类型，所以可以直接对某一个元素进行嵌套获取。代码如下：

print(type(soup.find_all(name='p')[0]))      # 打印数据类型
print(soup.find_all(name = 'p')[0].find_all(name = 'a'))  # 打印第一个p节点内的子节点a

程序运行结果如下：

<class 'bs4.element.Tag'>
[<a href="https://item.jd.com/12353915.html">零基础学Python</a>]

• 2. attrs参数

attrs参数表示通过指定属性进行数据的获取工作，在填写attrs参数时，默认情况下需要填写字典类型的参数值，但也可以通过赋值的方式填写参数。代码如下：

#_*_coding:utf-8_*_
# 作者      ：liuxiaowei
# 创建时间   ：2/6/22 10:48 PM
# 文件      ：find_all(attrs)通过指定属性获取内容.py
# IDE      ：PyCharm

from bs4 import BeautifulSoup  # 导入BeautifulSoup库
import re                      # 导入正则表达式模块
# 创建模拟HTML代码的字符串
html_doc = """
<html>
<head>
    <title>关联获取演示</title>
    <meta charset="utf-8"/>
</head>
<body>
<p class="p-1" value = "1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>
<p class="p-1" value = "2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>
<p class="p-3" value = "3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>
<div class="div-2" value = "4"><a href="https://item.jd.com/12550531.html">Python编程锦囊</a></div>
</body>
</html>
"""
# 创建一个BeautifulSoup对象，获取页面正文
soup = BeautifulSoup(html_doc, features="lxml")
print('指定字符串所获取的内容如下：')
print(soup.find_all(text='零基础学Python'))         # 打印指定字符串所获取的内容
print('指定正则表达式对象所获取的内容如下：')
print(soup.find_all(text=re.compile('Python')))    # 打印指定正则表达式对象所获取的内容

程序运行结果如下：

字典参数结果如下：

[<p class="p-1" value="1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>]
赋值参数结果如下：
[<p class="p-1" value="1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>, <p class="p-1" value="2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>]
[<p class="p-3" value="3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>]

• 3. text参数

指定text参数可以获取节点中的文本，该参数可以指定字符串或者正则表达式对象。代码如下：

#_*_coding:utf-8_*_
# 作者      ：liuxiaowei
# 创建时间   ：2/6/22 10:48 PM
# 文件      ：find_all(attrs)通过指定属性获取内容.py
# IDE      ：PyCharm

from bs4 import BeautifulSoup  # 导入BeautifulSoup库
import re                      # 导入正则表达式模块
# 创建模拟HTML代码的字符串
html_doc = """
<html>
<head>
    <title>关联获取演示</title>
    <meta charset="utf-8"/>
</head>
<body>
<p class="p-1" value = "1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>
<p class="p-1" value = "2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>
<p class="p-3" value = "3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>
<div class="div-2" value = "4"><a href="https://item.jd.com/12550531.html">Python编程锦囊</a></div>
</body>
</html>
"""
# 创建一个BeautifulSoup对象，获取页面正文
soup = BeautifulSoup(html_doc, features="lxml")
print('指定字符串所获取的内容如下：')
print(soup.find_all(text='零基础学Python'))         # 打印指定字符串所获取的内容
print('指定正则表达式对象所获取的内容如下：')
print(soup.find_all(text=re.compile('Python')))    # 打印指定正则表达式对象所获取的内容

程序运行结果如下：

指定字符串所获取的内容如下：

['零基础学Python']
指定正则表达式对象所获取的内容如下：
['零基础学Python', 'Python从入门到项目实践', 'Python项目开发案例集锦', 'Python编程锦囊']

find()——获取第一个匹配的节点内容

find_all()方法可以获取所有符合条件的节点内容，而find()方法只能获取第一个匹配的节点内容。

代码如下：

#_*_coding:utf-8_*_
# 作者      ：liuxiaowei
# 创建时间   ：2/6/22 11:14 PM
# 文件      ：find()方法获取第一个匹配的节点内容.py
# IDE      ：PyCharm

from bs4 import BeautifulSoup  # 导入BeautifulSoup库
import re                      # 导入正则表达式模块
# 创建模拟HTML代码的字符串
html_doc = """
<html>
<head>
    <title>关联获取演示</title>
    <meta charset="utf-8"/>
</head>
<body>
<p class="p-1" value = "1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>
<p class="p-1" value = "2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>
<p class="p-3" value = "3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>
<div class="div-2" value = "4"><a href="https://item.jd.com/12550531.html">Python编程锦囊</a></div>
</body>
</html>
"""
# 创建一个BeautifulSoup对象，获取页面正文
soup = BeautifulSoup(html_doc, features="lxml")
print(soup.find(name='p'))                  # 打印第一个name为p的节点内容
print(soup.find(class_='p-3'))              # 打印第一个class为p-3的节点内容
print(soup.find(attrs={
   'value':'4'}))       # 打印第一个value为4的节点内容
print(soup.find(text=re.compile('Python'))) # 打印第一个文本中包含Python的文本信息

程序运行结果如下：

<p class="p-1" value="1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>
<p class="p-3" value="3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>
<div class="div-2" value="4"><a href="https://item.jd.com/12550531.html">Python编程锦囊</a></div>

零基础学Python

• 其他方法

除了find_all()和find()方法可以实现按照指定条件获取节点内容以外，Beautiful Soup模块还提供了多个其他方法，这些方法的使用方式与find_all()和find()方法相同，只是查询的范围不同，各个方法的具体说明如下：

根据条件获取节点内容的其他方法及描述

方 法 名 称 描 述

find_parent() 获取父节点内容

find_parents() 获取所有祖先节点内容

find_next_sibling() 获取后面第一个兄弟节点内容

find_previous_siblings() 获取前面第一个兄弟节点内容

find_next_siblings() 获取后面所有兄弟节点内容

find_previous_siblings() 获取前面所有兄弟节点内容

find_next() 获取当前节点的下一个符合条件的节点内容

find_all_next() 获取当前节点的下一个所有符合条件的节点内容

find_previous() 获取第一个符合条件的节点内容

find_all_previous() 获取所有符合条件的节点内容

CSS选择器

Beautiful Soup模块还提供了CSS选择器来获取节点内容，如果是Tag或者是Beautiful Soup对象都可以直接调用select()方法，然后填写指定参数即可通过CSS选择器获取到节点中的内容。

说 明

CSS选择器参考手册

https://www.w3school.com.cn/cssref/css_selectors.asp

在使用CSS选择器获取节点内容时，首先需要调用select()方法，然后为其指定字符串类型的CSS选择器。常见的CSS选择器如下：

§ 直接填写字符串类型的节点名称

§ .class：表示指定class属性值

§ #id：表示指定id属性的值

使用CSS选择器调用select()方法获取节点内容

示例代码如下：

#_*_coding:utf-8_*_
# 作者      ：liuxiaowei
# 创建时间   ：2/7/22 6:12 AM
# 文件      ：使用CSS选择器获取节点内容.py
# IDE      ：PyCharm

from bs4 import BeautifulSoup  # 导入BeautifulSoup库
# 创建模拟HTML代码的字符串
html_doc = """
<html>
<head>
    <title>关联获取演示</title>
    <meta charset="utf-8"/>
</head>
<body>
    <div class="test_1" id="class_1"> 
        <p class="p-1" value = "1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>
        <p class="p-2" value = "2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>
        <p class="p-3" value = "3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>
        <p class="p-4" value = "4"><a href="https://item.jd.com/12550531.html">Python编程锦囊</a></p>
    </div>
    <div class="test_2" id="class_2">
        <p class="p-5"><a href="https://item.jd.com/12185501.html">零基础学Java（全彩版）</a></p>
        <p class="p-6"><a href="https://item.jd.com/12199033.html">零基础学Android（全彩版）</a></p>
        <p class="p-7"><a href="https://item.jd.com/12250414.html">零基础学C语言（全彩版）</a></p>
    </div>    
</body>
</html>
"""
# 创建一个BeautifulSoup对象，获取页面正文
soup = BeautifulSoup(html_doc, features="lxml")
print('所有p节点内容如下：')
print(soup.select('p'))                # 打印所有p节点内容
print('所有p节点中的第二个p节点内容如下：')
print(soup.select('p')[1])             # 打印所有p节点中的第二个p节点
print('逐层获取的title节点如下：')
print(soup.select('html head title'))  # 打印逐层获取的title节点
print('类名为test_2所对应的节点如下：')
print(soup.select('.test_2'))          # 打印类名为test_2所对应的节点
print('id值为class_1所对应的节点如下：')
print(soup.select('#class_1'))         # 打印id值为class_1所对应的节点

程序运行结果如下：

所有p节点内容如下：

[<p class="p-1" value="1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>, <p class="p-2" value="2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>, <p class="p-3" value="3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>, <p class="p-4" value="4"><a href="https://item.jd.com/12550531.html">Python编程锦囊</a></p>, <p class="p-5"><a href="https://item.jd.com/12185501.html">零基础学Java（全彩版）</a></p>, <p class="p-6"><a href="https://item.jd.com/12199033.html">零基础学Android（全彩版）</a></p>, <p class="p-7"><a href="https://item.jd.com/12250414.html">零基础学C语言（全彩版）</a></p>]

所有p节点中的第二个p节点内容如下：

<p class="p-2" value="2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>
逐层获取的title节点如下：
[<title>关联获取演示</title>]
类名为test_2所对应的节点如下：
[<div class="test_2" id="class_2">
<p class="p-5"><a href="https://item.jd.com/12185501.html">零基础学Java（全彩版）</a></p>
<p class="p-6"><a href="https://item.jd.com/12199033.html">零基础学Android（全彩版）</a></p>
<p class="p-7"><a href="https://item.jd.com/12250414.html">零基础学C语言（全彩版）</a></p>
</div>]
id值为class_1所对应的节点如下：
[<div class="test_1" id="class_1">
<p class="p-1" value="1"><a href="https://item.jd.com/12353915.html">零基础学Python</a></p>
<p class="p-2" value="2"><a href="https://item.jd.com/12451724.html">Python从入门到项目实践</a></p>
<p class="p-3" value="3"><a href="https://item.jd.com/12512461.html">Python项目开发案例集锦</a></p>
<p class="p-4" value="4"><a href="https://item.jd.com/12550531.html">Python编程锦囊</a></p>
</div>]

select()方法除了以上的基本使用方法以外，还可以实现嵌套获取、获取属性值以及获取文本等。

根据条件获取节点内容的其他方法及描述

获取节点内容的方式 描 述

soup.select(‘div[class=“test_1”]’)[0].
select(‘p’)[0]    嵌套获取class名为test_1对应的div中所有p节点中的第一个
soup.select(‘p’)[0][‘value’]
soup.select(‘p’)[0].attrs[‘value’]    获取所有p节点中第一个节点内value属性对应的值（两种方式）
soup.select(‘p’)[0].get_text()
soup.select(‘p’)[0].string    获取所有p节点中第一个节点内的文本（两种方式）
soup.select（‘p’([1:])    获取所有p节点中第二个以后的p节点
soup.select(’.p-1, .p-5’)    获取class名为p-1与p-5对应的节点
soup.select(‘a[href]’)    获取存在href属性的所有a节点
soup.select(‘p[value = “1”]’)    获取所有属性值为value = "1"的p节点

说 明

Beautiful Soup 模块还提供了一个select_one()方法，用于获取所有符合条件节点的第一个节点，例如soup.select_one(‘a’)将获取所有a节点中的第一个a节点内容。

总 结

image.png

文章标签：
云解析DNS
前端开发
Python
关键词：
云解析DNS数据
云解析DNS beautifulsoup
云解析DNS模块
云解析DNS数据beautifulsoup
云解析DNS数据模块
bruce_xiaowei
目录
相关文章
奔跑的数据
|
7月前
|
数据采集 JSON 数据可视化
JSON数据解析实战：从嵌套结构到结构化表格
在信息爆炸的时代，从杂乱数据中提取精准知识图谱是数据侦探的挑战。本文以Google Scholar为例，解析嵌套JSON数据，提取文献信息并转换为结构化表格，通过Graphviz制作技术关系图谱，揭示文献间的隐秘联系。代码涵盖代理IP、请求头设置、JSON解析及可视化，提供完整实战案例。
奔跑的数据
436 4
JSON数据解析实战：从嵌套结构到结构化表格
1786310562865821
|
7月前
|
JSON 监控 网络协议
Bilibili直播信息流：连接方法与数据解析
本文详细介绍了自行实现B站直播WebSocket连接的完整流程。解析了基于WebSocket的应用层协议结构，涵盖认证包构建、心跳机制维护及数据包解析步骤，为开发者定制直播数据监控提供了完整技术方案。
1786310562865821
509 9
技术交流18179014480
|
7月前
|
机器学习/深度学习 JSON 算法
淘宝拍立淘按图搜索API接口系列的应用与数据解析
淘宝拍立淘按图搜索API接口是阿里巴巴旗下淘宝平台提供的一项基于图像识别技术的创新服务。以下是对该接口系列的应用与数据解析的详细分析
技术交流18179014480
165 4
小白学大数据
|
7月前
|
数据采集 存储 数据库连接
Requests与BeautifulSoup：高效解析网页并下载资源
Requests与BeautifulSoup：高效解析网页并下载资源
小白学大数据
249 6
WBKJ_Noah18870292986
|
7月前
|
缓存 监控 搜索推荐
【实战解析】smallredbook.item_get_video API：小红书视频数据获取与电商应用指南
本文介绍小红书官方API——`smallredbook.item_get_video`的功能与使用方法。该接口可获取笔记视频详情，包括无水印直链、封面图、时长、文本描述、标签及互动数据等，并支持电商场景分析。调用需提供`key`、`secret`和`num_iid`参数，返回字段涵盖视频链接、标题、标签及用户信息等。同时，文章提供了电商实战技巧，如竞品监控与个性化推荐，并列出合规注意事项及替代方案对比。最后解答了常见问题，如笔记ID获取与视频链接时效性等。
WBKJ_Noah18870292986
293 0
WBKJ_Noah18870292986
|
7月前
|
存储 缓存 监控
如何高效爬取天猫商品数据？官方API与非官方接口全解析
本文介绍两种天猫商品数据爬取方案：官方API和非官方接口。官方API合法合规，适合企业长期使用，需申请企业资质；非官方接口适合快速验证需求，但需应对反爬机制。详细内容涵盖开发步骤、Python实现示例、反爬策略、数据解析与存储、注意事项及扩展应用场景。推荐工具链包括Playwright、aiohttp、lxml等。如需进一步帮助，请联系作者。
WBKJ_Noah18870292986
565 0
技术交流18179014480
|
7月前
|
JSON API 数据格式
淘宝商品评论API接口系列的应用与数据解析
在电商平台中，用户评论是了解商品质量、服务水平和用户满意度的重要数据来源。淘宝作为中国最大的电商平台，提供了商品评论API接口，帮助开发者获取和分析用户评价数据。本文将介绍淘宝商品评论API接口系列的作用、使用方法，并通过示例展示如何调用API并解析返回的JSON数据。
技术交流18179014480
157 0
小白学大数据
|
8月前
|
存储 数据采集 JSON
Python爬取某云热歌榜：解析动态加载的歌曲数据
Python爬取某云热歌榜：解析动态加载的歌曲数据
小白学大数据
128 0
蓝易云
|
7月前
|
算法 测试技术 C语言
深入理解HTTP/2：nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例，本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议，提高Web应用的性能和用户体验。对于实际开发中的应用，可以根据需要进一步优化和扩展代码，以满足具体需求。
蓝易云
658 29
疯狂的猿
|
7月前
|
前端开发 数据安全/隐私保护 CDN
二次元聚合短视频解析去水印系统源码
二次元聚合短视频解析去水印系统源码
疯狂的猿
189 4

热门文章

最新文章

  • 1
    阿里云上云流程参考：云服务器+域名+备案+域名解析绑定，全流程图文详解
  • 2
    DNS更新后不生效？快速排查攻略
  • 3
    2025云栖大会分论坛《共建韧性互联网基础资源服务（DNS+IPv6）》即将开幕，欢迎光临
  • 4
    中高级Java面试题解析，剑指BATJ，提前祝大家程序员节快乐
  • 5
    逆向倾向评分 (Inverse Propensity Scoring, IPS) 原理解析与MF算法的结合使用
  • 6
    【LLM落地应用实战】LLM + TextIn文档解析技术实测
  • 7
    【YAML语法规范指南】从入门到精通，揭秘神秘语法，引领配置文件解析指南（基础结构篇）
  • 8
    esp32之解析json
  • 9
    python学习手册14 迭代器和解析，第一部分
  • 10
    ERP系统中的数据分析与决策支持解析
  • 1
    BeautifulSoup VS Scrapy：如何选择适合的HTML解析工具？
    155
  • 2
    1688商品数据接口深度解析：从基础调用到企业级应用
    194
  • 3
    某查”平台请求头反爬技术解析与应对
    114
  • 4
    静态长效代理IP利用率瓶颈解析与优化路径
    114
  • 5
    解析：HTTPS通过SSL/TLS证书加密的原理与逻辑
    910
  • 6
    基于 Go 语言的公司内网管理软件哈希表算法深度解析与研究
    122
  • 7
    解锁鸿蒙装饰器：应用、原理与优势全解析
    171
  • 8
    BioMedGPT-R1：生物医药ChatGPT诞生！蒸馏DeepSeek R1突破人类专家水平，分子解析+靶点预测一键搞定
    383
  • 9
    Evo 2：基因编程AI革命！！DNA版GPT-4问世：100万碱基全解析，自动设计基因编辑器
    516
  • 10
    详细介绍SpringBoot启动流程及配置类解析原理
    824

    • 相关课程

    更多
  • 第八届大学生创新创业大赛阿里命题IoT赛题解析
  • 云计算工程师解析与实战-网络专家篇（体验版）
  • 深入解析Docker容器化技术
  • Java面试疑难点解析 - 面试技巧及语言基础
  • Java面试疑难点解析 - Java Web开发
  • Java面试疑难点解析 - 系统架构及项目设计

    • 相关电子书

    更多
  • 阿里云HBase产品体系架构及特性解析
  • ECS块存储产品全面解析
  • 云解析DNS在安全容灾场景下的应用分享

    • 推荐镜像

    更多
  • DNS
    • 下一篇
    深度 | 从0到3.0，揭秘阿里云洛神云网络的进化之路