requests学习笔记

简介: requests学习笔记
  1. 获取网页全部的html
request.get(url).text           需要更改编码格式
  request.get(url).content        不需要更改编码格式
  1. 伪装成浏览器访问
  request.get(url, headers = User_Agent的内容)
  1. 更改编码格式
r = requests.get(url)
 r.encoding = r.apparent_encoding
  1. 模拟cookies登录
 cook = {"Cookie":"登录后的cookie内容"}
 url = ''
 r = requests.get(url, cookies = cook)
  1. 模拟post提交翻页
 # 用post提交获取网页不同页数的html
 url=''
 data={
     'entities_only':'true',
     'page':'1'
 }
 r=requests.post(url, data=data)
  1. 模拟post提交登录
 # 登录页url
 url = "http://weibo.cn/u/1890493665"
 # 登录成功页url
 url_post =url + xxx
 data = {
     "mobile":"xxx"
     "password":"xxx"
     ...
 }
 html = requests.post(url_post, data=data).content
目录
相关文章
|
5月前
|
机器学习/深度学习 数据采集 JSON
Python爬虫requests库详解#3
摘要:python requests库基用法,高级用法【2月更文挑战第10天】
134 0
Python爬虫requests库详解#3
|
5月前
|
数据采集
requests爬虫
requests爬虫
46 1
|
24天前
|
JSON 数据格式
请求模块requests(二)
请求模块requests(二)
46 12
|
29天前
|
数据采集 Python
Flask获取post,get参数,以及 爬虫 requests的get,post参数详解
Flask获取post,get参数,以及 爬虫 requests的get,post参数详解
|
3月前
|
数据采集 缓存 负载均衡
|
JSON 网络协议 数据格式
全方面掌握Requests库的使用
全方面掌握Requests库的使用
229 0
|
数据采集 Web App开发 API
python爬虫库之Requests
python爬虫库之Requests
|
测试技术 Python
浅度测评:requests、aiohttp、httpx 我应该用哪一个?
浅度测评:requests、aiohttp、httpx 我应该用哪一个?
357 0