requests库常用函数使用——爬虫基础（1）
前言
所有的前置环境以及需要学习的基础我都放置在【Python基础(适合初学-完整教程-学习时间一周左右-节约您的时间)】中，学完基础咱们再配置一下Python爬虫的基础环境【看完这个，还不会【Python爬虫环境】，请你吃瓜】，搞定了基础和环境，我们就可以相对的随心所欲的获取想要的数据了，所有的代码都是我一点点写的，都细心的测试过，如果某个博客爬取的内容失效，私聊我即可，留言太多了，很难看得到，本系列的文章意在于帮助大家节约工作时间，希望能给大家带来一定的价值。
示例环境
系统环境：win11
开发工具：PyCharm Community Edition 2022.3.1
Python版本：Python 3.9.6
资源地址：链接：https://pan.baidu.com/s/1UZA8AAbygpP7Dv0dYFTFFA 提取码：7m3e
MySQL：5.7，url=【rm-bp1zq3879r28p726lco.mysql.rds.aliyuncs.com】,user=【qwe8403000】,pwd=【Qwe8403000】，库比较多，自己建好自己的，别跟别人冲突。
学习目标：
requests库的使用方法是我们本节课的学习目标，但是为什么学它呢，因为Python自带的urllib库相对来说没有requests更为好用，特别是使用cookie的时候，故而我们后面爬取信息的时候都会去使用requests库。
环境下载：
打开cmd直接使用下面的下载语句即可，不过pip需要是最新的。
下载语句：【pip install requests】
如果不是最新的我们需要升级pip，我这里给了个流程，是先修改镜像地址为HUAWEI的地址，因为是国内的所以相对来说快些。
pip config set global.index-url https://repo.huaweicloud.com/repository/pypi/simple pip config list pip install -U pip
requests库位置:
例如：cookie的操作，我们可以直接保存浏览器中的cookie，使用【CookieJar】即可。
步骤1、先输出，根据输出保存一个【cookies.txt】文件
import http.cookiejar import urllib.request cookie = http.cookiejar.CookieJar() # 必须声明一个CookieJar对象 handler = urllib.request.HTTPCookieProcessor(cookie) # 用于处理Cookies，利用HTTPCookieProcessor来构建一个Handler opener = urllib.request.build_opener(handler) # 利用build_opener()方法构建出Opener response = opener.open('输入你已经登录好的网站主页即可，注意这个主页的cookie已经可以查到。') # 执行open()函数 # 输出了每条Cookie的名称和值 for item in cookie: print(item.name + '=' + item.value)
这是输出的Cookie样式
我们把这个输出内容保存到一个【cookies.txt】中。
步骤二、更换格式
import http.cookiejar import urllib.request # 这里是根据步骤1所保存的文件 filename = 'cookies.txt' cookie = http.cookiejar.MozillaCookieJar(filename) handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('还是你的网站') cookie.save(ignore_discard=True, ignore_expires=True)
格式类似于这样
步骤三、#LWP-Cookies-2.0格式
import http.cookiejar as cookielib import http import urllib filename = 'cookies.txt' cookie = http.cookiejar.LWPCookieJar(filename) # LWPCookieJar同样可以读取和保存Cookies，它会保存成libwww-perl(LWP)格式的Cookies文件。 handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('https://blog.csdn.net/feng8403000') cookie.save(ignore_discard=True, ignore_expires=True)
这里只是个示例，是否测试都一样。
演示代码
实验前提，项目创建的时候我们选择系统库的位置。
使用系统库我们就能在cmd下载完成后直接导入到项目中，可以大大的节约咱们的项目所占空间。
requests基本使用
引入【requests库】，我们下载完成后直接使用【import requests】引入即可。
requests基础请求
这里使用【requests.request】来做测试。
请求的方式有七种：get、post、put、delete、delete、patch、options。
请求效果：
我们一般不使用这里请求，我也不是很喜欢用，我一般就直接使用get/post的方式直接访问了，免得单独输入一遍，一共七种方式都可以直接使用。
requests请求测试
基础请求我们使用get就行，get请求相对来说所有的链接都能直接使用浏览器打开，测试起来很方便，因为如果使用post你在测试的时候需要使用工具进行模拟测试。但是我们如果传递了data就不需要传递params了。
示例代码：
import requests url = "http://japi.juhe.cn/qqevaluate/qq" data = {"qq": "372699828", "key": "输入自己的key"} headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36" } html = requests.get(url, data, headers=headers) print(html.content.decode("utf-8"))
测试成功
我们在基础的测试中一共传递了三个参数，第一个参数是访问链接的字符串，第二个我们传递了data就不需要传递params了，第三个是传递的请求头，这里一定要添加请求头，否则很多接口是无法正常访问的。
headers解析
在请求网页爬取的时候，输出的返回信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。
headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据，如果有IP代理器那就更好了。
对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。
headers位置
F12打开->网络->找到主页->查看标头->查看请求标头，这就是我们的请求头，一般我们添加【user-agent】就行，赋值的时候不需要赋值【:】开头的那几个。
复制后有一些符号其实我们不会用，所以我们需要替换一下，下面是替换代码，我这里没有复制【:】开头的那几个。
import re # 下方引号内添加替换掉请求头内容 headers_str = """ accept: application/json, text/javascript, */*; q=0.01 accept-encoding: gzip, deflate, br accept-language: zh-CN,zh;q=0.9 content-type: application/json origin: https://blog.csdn.net referer: https://blog.csdn.net/feng8403000?spm=1001.2101.3001.5343 sec-fetch-dest: empty sec-fetch-mode: cors sec-fetch-site: same-site user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36 """ pattern = '^(.*?):(.*)$' for line in headers_str.splitlines(): print(re.sub(pattern, '\'\\1\':\'\\2\',', line).replace(' ', ''))
requests返回结果
返回字符串
import requests html = requests.request("get", "https://www.baidu.com") print(html.text)
这里返回的字符串格式是有问题的，我们能看到编码格式有问题。
修改返回字符串编码格式
我们直接使用.content.decode来修改编码，这个具体的编码我们需要根据实际来修改可能是GBK也可能是utf-8。
import requests html = requests.request("get", "https://www.baidu.com") print(html.content.decode("utf-8")) # 我们直接使用.content.decode来修改编码，这个具体的编码我们需要根据实际来修改可能是GBK也可能是utf-8
可以看到，现在的编码格式就没有问题了。
响应结果涉及函数
我这里将常用的函数都举例出来了，我们可以根据我们的需求进行选用。
import requests html = requests.request("get", "https://www.baidu.com") # 输出返回类型与结果 print(type(html.text), "\n输出前200字符串做测试：", html.text[0:200], "\n") # 响应内容（bytes类型） print(type(html.content), "\n输出前200字符串做测试：", html.content[0:200], "\n") # 状态码 print(type(html.status_code), "\n输出状态码：", html.status_code, "\n") # 响应头 print(type(html.headers), "\n输出响应头：", html.headers, "\n") # Cookies print(type(html.cookies), "\n输出Cookies：", html.cookies, "\n") # URL print(type(html.url), "\n输出路径：", html.url, "\n")
对应的六个输出：
文件保存
这里我们先保存一个ico文件测试。
import requests # 这里保存平台的图标 html = requests.request("get", "https://g.csdnimg.cn/static/logo/favicon32.ico") # 图标保存示例 with open("csdn.ico", "wb") as file: file.write(html.content) print("保存完毕，并通过with关闭file流。")
保存效果：
基础HTML格式访问成功后我们去试试json。
返回json
我们返回的数据直接json进行格式化，格式化的数据是json数据类型的，可以直接进行json操作。
我们可以通过在F12中查找到我们需要的json接口来进行信息的获取，方便很多。
https证书异常
import requests headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36" } html = requests.get('https://www.12306.cn', headers=headers, verify=False) print(html.status_code)
这里能看到虽然是200，但是报错【Unverified HTTPS】 也就是证书有问题了。
由于没有证书故而报这个错。
import logging import requests # 我们过滤一下就好了 logging.captureWarnings(True) headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36" } response = requests.get('https://www.12306.cn', headers=headers, verify=False) print(response.status_code)
我们直接过滤一下这个异常提示就行了：
动态IP代理
这里主要就是设置：【proxies】的值，配置到requests的访问上就能改变请求的ip与端口号了。
headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36" } autoId = "42.54.83.73:39050" proxies = { 'http': autoId, 'https': autoId } html = requests.get(readUrl, headers=headers, proxies=proxies)
代理效果：
总结：
本文章我们把整个requests常用的函数都讲解过了，其实没有说的就是超时设置了，超时设置就是timeout的设置，我们可以设置一个元组是时间范围，例如：(5,30)这是5~30秒，如果超过30s后就会显示超时。
我们将本文章的常用内容掌握之后基本的访问是没有什么问题了，如果是post的接口我们直接将get改成post即可。希望孩子们能用心搞定这个库的知识，会对后面的获取数据有很大的帮助。
