- 获取网页全部的html
request.get(url).text 需要更改编码格式 request.get(url).content 不需要更改编码格式
- 伪装成浏览器访问
request.get(url, headers = User_Agent的内容)
- 更改编码格式
r = requests.get(url) r.encoding = r.apparent_encoding
- 模拟cookies登录
cook = {"Cookie":"登录后的cookie内容"} url = '' r = requests.get(url, cookies = cook)
- 模拟post提交翻页
# 用post提交获取网页不同页数的html url='' data={ 'entities_only':'true', 'page':'1' } r=requests.post(url, data=data)
- 模拟post提交登录
# 登录页url url = "http://weibo.cn/u/1890493665" # 登录成功页url url_post =url + xxx data = { "mobile":"xxx" "password":"xxx" ... } html = requests.post(url_post, data=data).content