python爬虫知识储备-阿里云开发者社区

开发者社区> 开发与运维> 正文
登录阅读全文

python爬虫知识储备

简介: 在开始制作爬虫之前,必要的知识储备是必须的。下面就对基本的知识和工具做些总结. 推荐网页: https://www.

在开始制作爬虫之前,必要的知识储备是必须的。下面就对基本的知识和工具做些总结.

推荐网页:

什么是GET与Post请求

  • GET请求,在访问url中直接包含?variable=key,例如
python=easy&learn=good
  • Post请求。比如要登录一个网站(比如知乎),或者填写了一个表格,通常将表单(Form Data)post给网站。

cookie的存放位置

http://blog.csdn.net/songzhichao4444/article/details/19077729

https://www.cnblogs.com/huangye-dream/archive/2013/02/01/2889248.html

cookie不能用文本打开,但是可以通过sqlite查看

网页调试

注意,下文出现的所有浏览器都以Chrome为例。
建议IE, Chrome 同时使用

  • F12 -> network。有时需要将preserve log勾上,否则网页跳转的时候log会清空
  • 清除cookie和cache。
    • setting -> 高级 -> 隐私设置和安全性 -> 内容设置 -> cookie
    • 右键-> clear cache or cookie

(未完待续)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章