Python爬虫利器二之Beautiful Soup的用法-阿里云开发者社区

Python爬虫利器二之Beautiful Soup的用法

2017-11-07 1992

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

公共DNS（含HTTPDNS解析），每月1000万次HTTP解析

云解析 DNS，旗舰版 1个月

全局流量管理 GTM，标准版 1个月

简介：

http://cuiqingcai.com/1319.html

上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们可以很方便地提取出HTML或XML标签中的内容，实在是方便，这一节就让我们一起来感受一下Beautiful Soup的强大吧。

1. Beautiful Soup的简介

简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

废话不多说，我们来试一下吧~

2. Beautiful Soup 安装

Beautiful Soup 3 目前已经停止开发，推荐在现在的项目中使用Beautiful Soup 4，不过它已经被移植到BS4了，也就是说导入时我们需要 import bs4 。所以这里我们用的版本是 Beautiful Soup 4.3.2 (简称BS4)，另外据说 BS4 对 Python3 的支持不够好，不过我用的是 Python2.7.7，如果有小伙伴用的是 Python3 版本，可以考虑下载 BS3 版本。

可以利用 pip 或者 easy_install 来安装，以下两种方法均可

   
        1
       
        easy_install beautifulsoup4

   
        1
       
        pip install beautifulsoup4

如果想安装最新的版本，请直接下载安装包来手动安装，也是十分方便的方法。在这里我安装的是 Beautiful Soup 4.3.2

Beautiful Soup 3.2.1 Beautiful Soup 4.3.2

下载完成之后解压

运行下面的命令即可完成安装

   
        1
       
        sudo python setup.py install

然后需要安装 lxml

   
        1
       
        easy_install lxml

   
        1
       
        pip install lxml

另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

   
        1
       
        easy_install html5lib

   
        1
       
        pip install html5lib

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。

<thead”>

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, “html.parser”)	Python的内置标准库执行速度适中文档容错能力强	Python 2.7.3 or 3.2.2)前的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup, “lxml”)	速度快文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, [“lxml”, “xml”])BeautifulSoup(markup, “xml”)	速度快唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, “html5lib”)	最好的容错性以浏览器的方式解析文档生成HTML5格式的文档	速度慢不依赖外部扩展

3. 开启Beautiful Soup 之旅

在这里先分享官方文档链接，不过内容是有些多，也不够条理，在此本文章做一下整理方便大家参考。

官方文档

4. 创建 Beautiful Soup 对象

首先必须要导入 bs4 库

   
        1
       
        from bs4 import BeautifulSoup

我们创建一个字符串，后面的例子我们便会用它来演示

   
        1
       
        2
       
        3
       
        4
       
        5
       
        6
       
        7
       
        8
       
        9
       
        10
       
        11
       
        html = """
       
        <html><head><title>The Dormouse's story</title></head>
       
        <body>
       
        <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
       
        <p class="story">Once upon a time there were three little sisters; and their names were
       
        <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
       
        <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
       
        <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
       
        and they lived at the bottom of a well.</p>
       
        <p class="story">...</p>
       
        """

创建 beautifulsoup 对象

   
        1
       
        soup = BeautifulSoup(html)

另外，我们还可以用本地 HTML 文件来创建对象，例如

   
        1
       
        soup = BeautifulSoup(open('index.html'))

上面这句代码便是将本地 index.html 文件打开，用它来创建 soup 对象

下面我们来打印一下 soup 对象的内容，格式化输出

   
        1
       
        print soup.prettify()

   
        1
       
        2
       
        3
       
        4
       
        5
       
        <html>
       
         <head>
       
          <title>
       
           The Dormouse's story
       
          </title>

以上便是输出结果，格式化打印出了它的内容，这个函数经常用到，小伙伴们要记好咯。

5. 四大对象种类

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

Tag
NavigableString
BeautifulSoup
Comment

下面我们进行一一介绍

（1）Tag

Tag 是什么？通俗点讲就是 HTML 中的一个个标签，例如

   
  本文转自茄子_2008博客园博客，原文链接：，如需转载请自行联系原作者。

Python爬虫利器二之Beautiful Soup的用法

1. Beautiful Soup的简介

2. Beautiful Soup 安装

3. 开启Beautiful Soup 之旅

4. 创建 Beautiful Soup 对象

5. 四大对象种类

（1）Tag

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像