开发者社区> 问答> 正文

爬虫中利用requests模板发送请求和获取响应的流程是什么?

爬虫中利用requests模板发送请求和获取响应的流程是什么?

展开
收起
游客5n3d3br4o5qn4 2021-11-18 00:10:02 438 0
1 条回答
写回答
取消 提交回答
  • response = requests.get(url) response.text -> str # 根据响应信息进行有规律的推测网页的编码 response.encoding=“utf-8” response.encoding=”gbk” response.content -> bytes response.content.decode(“utf8”)

    发送请求,获取响应

    def parse(self, url, data): response = requests.get(url,params=params,headers=self.headers) response = requests.post(url,data=data, headers=self.headers) return response.content.decode() response.status_code response.request.headers response.headers 一般来说名词,往往都是对象的属性,对应的动词是对象的方法 获取网页源码的通用方式: response.content.decode() 的方式获取响应的html页面 response.content.decode(“GBK”) response.text ———————————————— 版权声明:本文为CSDN博主「大官人遛狗」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/weixin_42894309/article/details/85049572

    2021-11-18 08:21:16
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载