BeautifulSoup4简称bs4，是爬虫必学的三方库，它是一个HTML/XML的解析器，主要是解析和提取 HTML/XML 数据，Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，而lxml（使用Xpath语法解析网页数据）是局部遍历，因此时间和内存开销都会大很多，所以性能要低于lxml。
官方文档：https://beautifulsoup.readthedocs.io/zh_CN/latest/
pip 安装：
pip install bs4`或者`pip install beautifulsoup4BeautifulSoup使用语法：
from bs4 import BeautifulSoup
# 实例化一个BeautifulSoup对象，加载页面源码
soup = BeautifulSoup(要解析的文本, "解析器")
# 可以加载互联网上的页面到BeautifulSoup对象中。
soup = BeautifulSoup(res.text, "lxml")
# 可以加载本地html文档或者互联网上的页面到BeautifulSoup对象中。
fp = open('./demo.html','r',encoding='utf-8')
soup = BeautifulSoup(fp, "lxml")
# 调用对象中的相关属性和方法进行标签定位和数据提取
print(soup.p)常用的解析器
推荐使用lxml作为解析器,因为效率更高。
需要安装：pip install lxml
常用的属性和方法
「首先，定义一个html文档字符串：」
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister1" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""「不知道文档html的格式和组织，使用prettify()按照网页格式输出」
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
print(soup.prettify()) 
访问标签tag
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
print(type(soup.p))
print(soup.p) # 查找p标签，找到第一个
print(soup.title) # 查找title标签
print(soup.title.name) # 输出title标签的名字
print(soup.body.a) # body标签下的a标签
print(soup.a.parent.name) # a标签父节点的标签名字
输出：
# <class 'bs4.element.Tag'>
# <p class="title"><b>The Dormouse's story</b></p>
# <title>The Dormouse's story</title>
# title
# <a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>
# p获取标签属性值
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
print(soup.p['class']) # 查找p标签中class内容
# ['title']
print(soup.a.attrs) # 返回一个字典，获取标签所有属性
# # {'href': 'http://example.com/elsie', 'class': ['sister1'], 'id': 'link1'}
print(soup.a.attrs['href']) # 获取标签指定属性
# http://example.com/elsie搜索遍历文档
有时候根据文档结构不能直接获取标签，则可以使用find()和find_all()方法获取。
「find(name,attrs,...)」：查找标签，返回的是一个bs4.element.Tag对象，有多个结果，只返回第一个，没有返回None
「find_all(name,attrs,...)」:返回的是一个bs4.element.Tag对象组成的list，不管有没有找到，都是list
最常用的用法是出入name以及attr参数找出符合要求的标签。
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
print(soup.find('a')) # 查找第一个a标签
# <a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>
# 查找id属性是link3的a标签
print(soup.find('a', id="link3"))
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
# class是python中的内置关键字，class属性后加_ class_
print(soup.find('a',class_="sister1"))
# <a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>
# 搜索所有标签
print(soup.find_all('a')) # 查找所有a标签list
# [<a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
# 列表索引
print(soup.find_all('a')[2])
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
# 列表查找，返回所有a标签和b标签
print(soup.find_all(['p','a']))获取标签文本内容
「soup.标签.text/get_text():」 获取标签中所有文本内容，包括子节点
「soup.标签.string：」 获取到最里层标签，可以直接用.string的方法获取标签内的文字
「find+contents:」 如果不是最里层的标签，可以用find+contents的方法，该方法返回的是一个列表，获取的是标签内所有内容，可以根据索引获取特定的文本。
print(soup.a.text)
print(soup.a.string)
print(soup.a.get_text())
# Elsie
# Elsie
# Elsie
print(soup.find('p',class_="story").text)
# Elsie,
# Lacie and
# Tillie;
# and they lived at the bottom of a well.
print(soup.find_all('a')[0].text)
# Elsie
print(soup.find('p').contents[0].text)
# The Dormouse's story
