1. 基本使用
1.1 安装
pip install requests
1.2 response的属性以及类型
类型 ：models.Response
r.text : 获取网站源码
r.encoding ：访问或定制编码方式
r.url ：获取请求的url
r.content ：响应的字节类型
r.status_code ：响应的状态码
r.headers ：响应的头信息
1.3 示例：
1.3.1 get请求：
import requests url = 'http://www.baidu.com' response = requests.get(url=url) # 一个类型和六个属性 # Response类型 print(type(response)) # 设置响应的编码格式 response.encoding = 'utf-8' # 以字符串的形式来返回了网页的源码 print(response.text) # 返回一个url地址 print(response.url) # 返回的是二进制的数据 print(response.content) # 返回响应的状态码 print(response.status_code) # 返回的是响应头 print(response.headers)
1.3.2 get请求传递参数：
import requests url = 'https://www.baidu.com/s' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36' } data = { 'wd':'北京' } # url 请求资源路径 # params 参数 # kwargs 字典 response = requests.get(url=url,params=data,headers=headers) content = response.text print(content) # 总结： # （1）参数使用params传递 # （2）参数无需urlencode编码 # （3）不需要请求对象的定制 # （4）请求资源路径中的？可以加也可以不加
1.3.3 post请求，百度翻译：
import requests url = 'https://fanyi.baidu.com/sug' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36' } data = { 'kw': 'hello' } # url 请求地址 # data 请求参数 # kwargs 字典 response = requests.post(url=url,data=data,headers=headers) content =response.text import json obj = json.loads(content,encoding='utf-8') print(obj) # 总结： # （1）post请求 是不需要编解码 # （2）post请求的参数是data # （3）不需要请求对象的定制
1.3.4 代理请求
import requests url = 'http://www.baidu.com/s?' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36', } data = { 'wd':'ip' } proxy = { 'http':'212.129.251.55:16816' } response = requests.get(url = url,params=data,headers = headers,proxies = proxy) content = response.text with open('daili.html','w',encoding='utf-8')as fp: fp.write(content)
2. 真实网站模拟登录(仅学习使用)
注意修改账号、密码再进行测试
import requests # 这是登陆页面的url地址 url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36' } # 获取页面的源码 response = requests.get(url=url, headers=headers) content = response.text # 解析页面源码 然后获取_VIEWSTATE __VIEWSTATEGENERATOR from bs4 import BeautifulSoup soup = BeautifulSoup(content, 'lxml') # 获取该网站的隐藏域 _VIEWSTATE viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value') # 获取该网站的隐藏域 __VIEWSTATEGENERATOR viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value') # 获取验证码图片 code = soup.select('#imgCode')[0].attrs.get('src') code_url = 'https://so.gushiwen.cn' + code # 有坑 # import urllib.request # urllib.request.urlretrieve(url=code_url,filename='code.jpg') # requests里面有一个方法 session（） 通过session的返回值 就能使用请求变成一个对象 session = requests.session() # 验证码的url的内容 response_code = session.get(code_url) # 注意此时要使用二进制数据 因为我们要使用的是图片的下载 content_code = response_code.content # wb的模式就是将二进制数据写入到文件 with open('code.jpg', 'wb')as fp: fp.write(content_code) # 获取了验证码的图片之后 下载到本地 然后观察验证码 观察之后 然后在控制台输入这个验证码 就可以将这个值给 # code的参数 就可以登陆 code_name = input('请输入你的验证码') # 点击登陆 url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx' data_post = { '__VIEWSTATE': viewstate, '__VIEWSTATEGENERATOR': viewstategenerator, 'from': 'http://so.gushiwen.cn/user/collect.aspx', 'email': '123456', 'pwd': '123456', 'code': code_name, 'denglu': '登录', } response_post = session.post(url=url, headers=headers, data=data_post) content_post = response_post.text with open('gushiwen.html', 'w', encoding=' utf-8')as fp: fp.write(content_post) # 难点 # （1） 隐藏域 # （2） 验证码
3. 超级鹰打码平台
import requests from hashlib import md5 class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username password = password.encode('utf8') self.password = md5(password).hexdigest() self.soft_id = soft_id self.base_params = { 'user': self.username, 'pass2': self.password, 'softid': self.soft_id, } self.headers = { 'Connection': 'Keep-Alive', 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)', } def PostPic(self, im, codetype): """ im: 图片字节 codetype: 题目类型 参考 http://www.chaojiying.com/price.html """ params = { 'codetype': codetype, } params.update(self.base_params) files = {'userfile': ('ccc.jpg', im)} r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers) return r.json() def ReportError(self, im_id): """ im_id:报错题目的图片ID """ params = { 'id': im_id, } params.update(self.base_params) r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers) return r.json() if __name__ == '__main__': chaojiying = Chaojiying_Client('超级鹰用户名', '超级鹰用户名的密码', '96001') # 用户中心>>软件ID 生成一个替换 96001 im = open('a.jpg', 'rb').read() # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要// print(chaojiying.PostPic(im, 1902)) # 1902 验证码类型 官方网站>>价格体系 3.4+版 print 后要加()
当前目录存放a.jpg验证码图片，修改账号、密码、软件ID直接运行即可
