今天让我们一起走进python爬虫中urllib库的世界吧！！

（一）urllib库中的模块

urllib库中包含四个常用的模块他们分别是：

1. urllib.request

用于打开和读取URL

2. urllib.error

包含urllib.request抛出的异常

3. urllib.parse

用于解析URL

4. urllib.robotparser

解析robot.txt文件

（二）Urllib.request 模块

urllib.request 定义了一些打开 URL 的函数和类，包含授权验证、重定向、浏览器 cookies等。

urllib.request 可以模拟浏览器的一个请求发起过程。

我们可以使用 urllib.request 的 urlopen 方法来打开一个 URL，语法格式如下：

 url：url 地址。

data：发送到服务器的其他数据对象，默认为 None。

timeout：设置访问超时时间。

cafile 和 capath：cafile 为 CA 证书， capath 为 CA 证书的路径，使用 HTTPS 需要用 到。

实例：

from urllib.request import urlopen
URL = urlopen("https://www.baidu.com/")
print(URL.read())

运行结果：

上述代码用urlopen打开百度的URL，然后使用read（）函数来获取网页的HTML实体代码。

read（）函数是用于读取网页的内容，我们可以指定读取的长度。

例：print（URL.read(200)）

除了read（）函数外，同时还包含以下两个读取网页内容的函数：

readline（） #读取一行内容

readlines（） #读取文件的全部内容，他会把读取的内容赋值给一个列表变量。实例代码以及运行结果如下：

from urllib.request import urlopen
URL = urlopen("https://www.baidu.com/")
myURL = URL.readlines()
for i in myURL:
    print(i)

除此之外还有urllib.request模块中Reqquest类的使用，通常我们利用这个类来模拟网页的头部信息。使用方法如下：

url：url 地址。

data：发送到服务器的其他数据对象，默认为 None。

headers：HTTP 请求的头部信息，字典格式。

origin_req_host：请求的主机地址，IP 或域名。

unverifiable：很少用整个参数，用于设置网页是否需要验证，默认是False.

method：请求方法， 如 GET、POST、DELETE、PUT等。

（三）Urllib.error 模块

urllib.error 模块为 urllib.request 所引发的异常定义了异常类，基础异常类是 URLError。urllib.error 包含了两个方法，URLError 和 HTTPError。

URLError 是 OSError 的一个子类，用于处理程序在遇到问题时会引发此异常（或其派生的异常）。

HTTPError 是 URLError 的一个子类，用于处理特殊 HTTP 错误例如作为认证请求的时候，包含的属性 code 为 HTTP 的状态码， reason 为引发异常的原因，headers  为导致 HTTPError 的特定 HTTP 请求的 HTTP 响应头。

我们使用 getcode（） 函数来获取网页状态码。

对不存在的网页抓取并处理异常。eg：返回200说明网页正常，返回404则说明网页不存在。

实例如下：

from urllib.request import urlopen
import urllib.request
URL1 = urlopen("https://www.baidu.com/")
print(URL1.getcode())
try:
    URL2 = urlopen("https://www.baidu.com/1")
except urllib.error.HTTPError as a:
    if a.code == 404:
        print(404)

运行结果：

（四）Urllib.parse 模块

urllib.parse 用于解析 URL，格式如下： 使用urllib.parse可以解析出URl的内容是一个元组，包含 6 个字符串：协议（scheme），位置(netloc)，路径(path)，参数(params)，查询(query)，判断(fragment)。

(五) Urllib.robotparser 模块

urllib.robotparser 用于解析 robots.txt 文件。

robots.txt是一种存放于网站根目录下的 robots 协议，它通常用于告诉搜索引擎对网站的抓取规则。

文中还有许多不足以及没有提到的点，再这里我们只做一个大概的了解，再后续的学习中我们再渐渐深入，感谢大家支持！