备案控制台
开发者社区 开发与运维 文章 正文

21.8 Python 使用BeautifulSoup库

2023-10-27 57
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： BeautifulSoup库用于从HTML或XML文件中提取数据。它可以自动将复杂的HTML文档转换为树形结构，并提供简单的方法来搜索文档中的节点，使得我们可以轻松地遍历和修改HTML文档的内容。广泛用于Web爬虫和数据抽取应用程序中。

BeautifulSoup库用于从HTML或XML文件中提取数据。它可以自动将复杂的HTML文档转换为树形结构，并提供简单的方法来搜索文档中的节点，使得我们可以轻松地遍历和修改HTML文档的内容。广泛用于Web爬虫和数据抽取应用程序中。

读者如果需要使用这个库，同样需要执行pip命令用以安装：

21.8.1 属性定位链接

通过HTML属性我们可以轻松的实现对特定页面特定元素的提取，如下代码我们首先封装两个函数，其中get_page_attrs函数用于一次性解析需求，函数search_page则用于多次对页面进行解析，这两个函数如果传入attribute属性则用于提取属性内的参数，而传入text则用于提取属性自身文本。

import requests
from bs4 import BeautifulSoup

header = {
   
   "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98"}

# 参数1: 解析页面URL
# 参数2: 需要解析的页面定位
# 参数3: 提取标签属性
# 参数4：设置超时时间
# 参数5：设置返回类型(attribute 返回属性字段,text 返回文本字段)
def get_page_attrs(url,regx,attrs,timeout,type):
    respon_page = []
    try:
        respon = requests.get(url=url, headers=header, timeout=timeout)
        if respon.status_code == 200:
            if respon != None:
                soup = BeautifulSoup(respon.text, "html.parser")
                ret = soup.select(regx)
                for item in ret:
                    if type == "attribute":
                        respon_page.append( str(item.attrs[attrs] ))
                    if type == "text":
                        respon_page.append(str(item.get_text()))

            return respon_page
        else:
            return None
    except Exception:
        return None
    return None

# 对页面多次搜索
# 参数1: 需要解析的html文本
# 参数2: 需要解析的页面定位
# 参数3: 提取标签属性
# 参数5：设置返回类型(attribute 返回属性字段,text 返回文本字段)
def search_page(data,regx,attrs,type):
    respon_page = []
    if data != None:
        soup = BeautifulSoup(data, "html.parser")
        ret = soup.select(regx)
        for item in ret:
            if type == "attribute":
                respon_page.append( str(item.attrs[attrs] ))
            if type == "text":
                respon_page.append(str(item.get_text()))
    return respon_page

通过使用上述两个封装函数，读者就可以轻松的实现对特定网页页面元素的定位，首先我们通过CSS属性定位一篇文章中的图片链接，这段代码如下；

if __name__ == "__main__":
    # 通过CSS属性定位图片
    ref = get_page_attrs("https://www.cnblogs.com/LyShark/p/15914868.html",
                   "#cnblogs_post_body > p > img",
                   "src",
                   5,
                   "attribute"
                   )
    print(ref)

当上述代码运行后，即可提取出特定网址链接内，属性#cnblogs_post_body > p > img中图片的src属性，并提取出图片属性attribute自身参数。

接着我们继续使用该函数实现定位文章列表功能，文章列表的定位同理，此处第二个参数应修改为href属性，如下代码分别使用两种方式实现对文章列表的定位功能；

if __name__ == "__main__":
    # 定位文章列表,两种方式均可
    ref = get_page_attrs("https://www.cnblogs.com/lyshark",
                   "#mainContent > div > div > div.postTitle > a",
                   "href",
                   5,
                   "attribute"
                   )
    print(ref)

    ref = get_page_attrs("https://www.cnblogs.com/lyshark",
                   "div[class='day'] div[class='postCon'] div a",
                   "href",
                   5,
                   "attribute"
                   )
    print(ref)

代码运行后即可输出lyshark网站中主页所有的文章地址信息，输出如下图所示；

当需要定位文章内容时，我们只需要将第二个属性更改为空格，并将第四个属性修改为text此时则代表只提取属性内的文本。

if __name__ == "__main__":
    # 定位文章文本字段
    ref = get_page_attrs("https://www.cnblogs.com/lyshark",
                   "div[class='day'] div[class='postCon'] div[class='c_b_p_desc']",
                   "",
                   5,
                   "text"
                   )

    for index in ref:
        print(index)

运行上述代码片段，即可提取出主页中所有的文本信息，如下图所示；

如果需要在同一个页面中多次定位那么就需要使用search_page函数了，如下代码中我们需要在一个页面内寻找两个元素，此时就需要定位两次；

if __name__ == "__main__":
    respon = requests.get(url="https://yiyuan.9939.com/yyk_47122/", headers=header, timeout=5)

    ref = search_page(respon.text,
                      "body > div.hos_top > div > div.info > div.detail.word-break > h1 > a",
                      "",
                      "text"
                      )
    print(ref)

    ref = search_page(respon.text,
                      "body > div.hos_top > div > div.info > div.detail.word-break > div.tel > span",
                      "",
                      "text"
                      )
    print(ref)

代码运行后，即可通过依次请求，分别输出该页面中的两个元素，如下图所示；

21.8.2 查询所有标签

使用find_all函数，可实现从HTML或XML文档中查找所有符合指定标签和属性的元素，返回一个列表，该函数从用于精确过滤，可同时将该页中符合条件的数据一次性全部筛选出来。

其基本语法为：

find_all(name=None, attrs={
   
   }, recursive=True, text=None, limit=None, **kwargs)
  • name：标签名或列表，用于查找指定标签名的元素，如果为 True 或 None，则查找所有标签元素
  • attrs：字典，用于指定属性名和属性值，用于查找具有指定属性名和属性值的元素
  • recursive：布尔值，表示是否递归查找子标签，默认为 True
  • text：字符串或正则表达式，用于匹配元素的文本内容
  • limit：整数，限制返回的匹配元素的数量
  • kwargs：可变参数，用于查找指定属性名和属性值的元素

我们以输出CVE漏洞列表为例，通过使用find_all查询页面中所有的a标签，并返回一个列表，通过对列表元素的解析，依次输出该漏洞的序号，网址，以及所对应的编号信息。

import re
import requests
from bs4 import BeautifulSoup

header = {
   
   "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98"}

# 查找文中 所有a标签 且类名是c_b_p_desc_readmore的 并提取出其href字段
# print(bs.find_all('a',class_='c_b_p_desc_readmore')[0]['href'])

# 提取 所有a标签 且id等于blog_nav_admin 类等于menu 并提取出其href字段
# print(bs.find_all('a',id='blog_nav_admin',class_='menu')[0]['href'])
# print(bs.find_all('a',id='blog_nav_admin',class_='menu')[0].attrs['href'])

if __name__ == "__main__":
    url = "https://cassandra.cerias.purdue.edu/CVE_changes/today.html"
    new_cve = []
    ret = requests.get(url=url, headers=header, timeout=5)
    soup = BeautifulSoup(ret.text, 'html.parser')
    for index in soup.find_all('a'):
        href = index.get('href')
        text = index.get_text()
        cve_number = re.findall("[0-9]{1,}-.*",index.get_text())
        print("序号: {:20} 地址: {} CVE-{}".format(text,href,cve_number[0]))

读者可自行运行上述代码，即可匹配出当前页面中所有的CVE漏洞编号等，如下图所示；

21.8.3 取字串返回列表

在BeautifulSoup4中，stripped_strings是一个生成器对象，用于获取HTML标签内所有文本内容的迭代器。它会自动去除每个文本的前后空格和换行符，只返回纯文本字符串。stripped_strings可以用于处理HTML文档中的多行文本、空格等特殊符号，也可用于将元素下面的所有字符串以列表的形式返回。

import requests
from bs4 import BeautifulSoup

header = {
   
   "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98"}

if __name__ == "__main__":
    ret = requests.get(url="https://www.cnblogs.com/lyshark", headers=header, timeout=3)
    text = str(ret.content.decode('utf-8'))

    bs = BeautifulSoup(text, "html.parser")
    ret = bs.select('#mainContent > div > div > div.postTitle > a > span')

    for i in ret:
        # 提取出字符串并以列表的形式返回
        string_ = list(i.stripped_strings)
        print(string_)

运行后即可获取选中元素的字符串内容，并通过list将其转换为列表格式，如下图所示；

通过find_all以及stripped_strings属性我们实现一个简单的抓取天气的代码，以让读者可以更好的理解该属性是如何被使用的，如下代码所示；

from bs4 import BeautifulSoup
import requests

head = {
   
   'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
ret = requests.get(url="http://www.weather.com.cn/textFC/beijing.shtml", headers=head, timeout=3)
text = str(ret.content.decode('utf-8'))

bs = BeautifulSoup(text,"html.parser")

# 定位到第一个标签上
bs.find_all('div',class_='conMidtab')[1]

# 在conMidtab里面找tr标签并从第3个标签开始保存
tr = bs.find_all('tr')[2:]

for i in tr:
    # 循环找代码中的所有td标签
    td = i.find_all('td')
    # 找所有的td标签,并找出第一个td标签
    city_td = td[0]
    # 获取目标路径下所有的子孙非标签字符串,自动去掉空字符串
    city = list(city_td.stripped_strings)[0]
    # 取出度数的标签
    temp = td[-5]
    temperature = list(temp.stripped_strings)[0]
    print('城市:{}   温度:{}'.format(city,temperature))

我们以提取北京天气为案例，当运行代码后即可取出北京市所有地区的气温数据，如下图所示；

本文作者： 王瑞
本文链接： https://www.lyshark.com/post/ac89ee84.html
版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！

文章标签：
云解析DNS
Python
数据采集
安全
数据格式
XML
关键词：
Python库
Python BeautifulSoup
Python beautifulsoup库
lyshark
目录
相关文章
众所周知
|
6小时前
|
SQL 关系型数据库 数据库连接
使用 Python 访问数据库的基本方法
【5月更文挑战第12天】在Python中操作数据库涉及安装数据库驱动（如mysql-connector-python, psycopg2, pymongo）、连接数据库、执行查询/更新、处理结果集及关闭连接。使用ORM（如SQLAlchemy）可简化操作。通过上下文管理器（with语句）能更好地管理资源和错误。注意根据实际需求处理事务、错误和安全性，例如使用SSL连接。
众所周知
16 2
东方睿赢
|
6小时前
|
XML 前端开发 数据格式
BeautifulSoup 是一个 Python 库，用于从 HTML 和 XML 文件中提取数据
【5月更文挑战第10天】BeautifulSoup 是 Python 的一个库，用于解析 HTML 和 XML 文件，即使在格式不规范的情况下也能有效工作。通过创建 BeautifulSoup 对象并使用方法如 find_all 和 get，可以方便地提取和查找文档中的信息。以下是一段示例代码，展示如何安装库、解析 HTML 数据以及打印段落、链接和特定类名的元素。BeautifulSoup 还支持更复杂的查询和文档修改功能。
东方睿赢
16 1
TesterMuller
|
6小时前
|
Python
Python 内置正则表达式库re的使用
正则表达式是记录文本规则的代码，用于查找和处理符合特定规则的字符串。在Python中，常通过原生字符串`r'string'`表示。使用`re.compile()`创建正则对象，便于多次使用。匹配字符串有`match()`（从开头匹配）、`search()`（搜索首个匹配）和`findall()`（找所有匹配）。替换字符串用`sub()`，分割字符串则用`split()`。
TesterMuller
12 3
TesterMuller
|
6小时前
|
Java Python
Python 内置库 多线程threading使用讲解
本文介绍Python中的线程基础。首先展示了单线程的基本使用，然后通过`threading`模块创建并运行多线程。示例中创建了两个线程执行不同任务，并使用`active_count()`和`enumerate()`检查线程状态。接着讨论了守护线程，主线程默认等待所有子线程完成，但可设置子线程为守护线程使其随主线程一同结束。`join()`方法用于主线程阻塞等待子线程执行完毕，而线程池能有效管理线程，减少频繁创建的开销，Python提供`ThreadPoolExecutor`进行线程池操作。最后提到了GIL（全局解释器锁），它是CPython的机制，限制了多线程并行执行的能力，可能导致性能下降。
TesterMuller
8 1
傻啦嘿哟
|
7小时前
|
数据可视化 数据挖掘 数据处理
Altair：Python数据可视化库的魅力之旅
Altair：Python数据可视化库的魅力之旅
傻啦嘿哟
9 0
蓝易云
|
6小时前
|
机器学习/深度学习 数据挖掘 PyTorch
10个非常有用的Python库，你知道几个？
这些库覆盖了数据科学、机器学习、Web开发和其他领域，使Python成为一个多用途的编程语言。它们在各种项目和领域中都非常有用。
蓝易云
16 2
陌陌谣
|
7小时前
|
JSON 监控 调度
局域网管理软件的自动化任务调度：Python 中的 APScheduler 库的应用
使用 Python 的 APScheduler 库可简化局域网管理中的自动化任务调度。APScheduler 是一个轻量级定时任务调度库，支持多种触发方式如间隔、时间、日期和 Cron 表达式。示例代码展示了如何创建每 10 秒执行一次的定时任务。在局域网管理场景中，可以利用 APScheduler 定期监控设备状态，当设备离线时自动提交数据到网站，提升管理效率。
陌陌谣
22 0
叫个什么名字
|
6小时前
|
数据采集 数据可视化 数据挖掘
如何利用Python中的Pandas库进行数据分析和可视化
Python的Pandas库是一种功能强大的工具，可以用于数据分析和处理。本文将介绍如何使用Pandas库进行数据分析和可视化，包括数据导入、清洗、转换以及基本的统计分析和图表绘制。通过学习本文，读者将能够掌握利用Python中的Pandas库进行高效数据处理和可视化的技能。
叫个什么名字
11 0
Bigcrab__
|
6小时前
|
机器学习/深度学习 自然语言处理 算法
Gensim详细介绍和使用：一个Python文本建模库
Gensim详细介绍和使用：一个Python文本建模库
Bigcrab__
18 1
东方睿赢
|
6小时前
|
JSON 数据格式 Python
Python 的 requests 库是一个强大的 HTTP 客户端库，用于发送各种类型的 HTTP 请求
【5月更文挑战第9天】`requests` 库是 Python 中用于HTTP请求的强大工具。要开始使用，需通过 `pip install requests` 进行安装。发送GET请求可使用 `requests.get(url)`，而POST请求则需结合 `json.dumps(data)` 以JSON格式发送数据。PUT和DELETE请求类似，分别调用 `requests.put()` 和 `requests.delete()`。
东方睿赢
17 2

热门文章

最新文章

  • 1
    【Python】*args 和 **kwargs的用法
  • 2
    Python零基础学习笔记（二）——数据的存储
  • 3
    Python--sys
  • 4
    check_memcache with python
  • 5
    Python1 练习
  • 6
    python高级特性、函数式编程、面向对象
  • 7
    Python编程入门到实践 - 笔记（ 7 章）
  • 8
    采用python的pyquery引擎做网页爬虫，进行数据分析
  • 9
    Python中list的切片细节
  • 10
    使用setuptools自动安装python模块
  • 1
    「多线程大杀器」Python并发编程利器：ThreadPoolExecutor，让你一次性轻松开启多个线程，秒杀大量任务！
    36
  • 2
    深入理解Python数据结构中的深浅拷贝
    28
  • 3
    深入理解Python中的try-except语句，避免代码崩溃的噩梦
    18
  • 4
    python编程简介（一）
    97
  • 5
    python操作列表方法（二）
    33
  • 6
    python操作列表方法（一）
    28
  • 7
    python测试代码（三）
    22
  • 8
    python测试代码（二）
    20
  • 9
    python测试代码（一）
    22
  • 10
    python函数用法（五）
    25

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • 使用Python完成RDS数据开发及分析
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考