requests学习笔记

简介: requests学习笔记
  1. 获取网页全部的html
request.get(url).text           需要更改编码格式
  request.get(url).content        不需要更改编码格式
  1. 伪装成浏览器访问
  request.get(url, headers = User_Agent的内容)
  1. 更改编码格式
r = requests.get(url)
 r.encoding = r.apparent_encoding
  1. 模拟cookies登录
 cook = {"Cookie":"登录后的cookie内容"}
 url = ''
 r = requests.get(url, cookies = cook)
  1. 模拟post提交翻页
 # 用post提交获取网页不同页数的html
 url=''
 data={
     'entities_only':'true',
     'page':'1'
 }
 r=requests.post(url, data=data)
  1. 模拟post提交登录
 # 登录页url
 url = "http://weibo.cn/u/1890493665"
 # 登录成功页url
 url_post =url + xxx
 data = {
     "mobile":"xxx"
     "password":"xxx"
     ...
 }
 html = requests.post(url_post, data=data).content
目录
相关文章
|
7月前
|
机器学习/深度学习 数据采集 JSON
Python爬虫requests库详解#3
摘要:python requests库基用法,高级用法【2月更文挑战第10天】
164 0
Python爬虫requests库详解#3
|
7月前
|
数据采集
requests爬虫
requests爬虫
53 1
|
1月前
|
数据采集 JSON 应用服务中间件
urllib与requests模块万字超详细!!
本文介绍了Python中用于发送网络请求的两个重要模块:`urllib` 和 `requests`。首先,文章详细讲解了 `urllib` 模块的基本使用方法,包括构造请求、发送请求、处理响应等。接着,文章重点介绍了 `requests` 模块,强调了其在企业中的广泛应用,以及如何发送GET和POST请求、处理响应、使用代理、处理Cookie等内容。最后,文章还探讨了 `requests` 模块的高级功能,如处理证书错误、设置超时、使用 `retrying` 模块等,帮助读者全面掌握网络请求的处理技巧。
59 4
|
3月前
|
JSON 数据格式
请求模块requests(二)
请求模块requests(二)
72 12
|
5月前
|
数据采集 缓存 负载均衡
|
JSON 网络协议 数据格式
全方面掌握Requests库的使用
全方面掌握Requests库的使用
253 0
|
数据采集 Web App开发 API
python爬虫库之Requests
python爬虫库之Requests
|
JSON 数据格式
requests库的使用——Get请求
requests第三方库的简单使用
requests库的使用——Get请求