python爬虫知识储备-阿里云开发者社区

开发者社区> 墨持alvin> 正文

python爬虫知识储备

简介: 在开始制作爬虫之前,必要的知识储备是必须的。下面就对基本的知识和工具做些总结. 推荐网页: https://www.
+关注继续查看

在开始制作爬虫之前,必要的知识储备是必须的。下面就对基本的知识和工具做些总结.

推荐网页:

什么是GET与Post请求

  • GET请求,在访问url中直接包含?variable=key,例如
python=easy&learn=good
  • Post请求。比如要登录一个网站(比如知乎),或者填写了一个表格,通常将表单(Form Data)post给网站。

cookie的存放位置

http://blog.csdn.net/songzhichao4444/article/details/19077729

https://www.cnblogs.com/huangye-dream/archive/2013/02/01/2889248.html

cookie不能用文本打开,但是可以通过sqlite查看

网页调试

注意,下文出现的所有浏览器都以Chrome为例。
建议IE, Chrome 同时使用

  • F12 -> network。有时需要将preserve log勾上,否则网页跳转的时候log会清空
  • 清除cookie和cache。
    • setting -> 高级 -> 隐私设置和安全性 -> 内容设置 -> cookie
    • 右键-> clear cache or cookie

(未完待续)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
python爬虫系列之初识爬虫
python爬虫系列之初识爬虫前言 我们这里主要是利用requests模块和bs4模块进行简单的爬虫的讲解,让大家可以对爬虫有了初步的认识,我们通过爬几个简单网站,让大家循序渐进的掌握爬虫的基础知识,做网络爬虫还是需要基本的前端的知识的,下面我们进行我们的爬虫讲解 在进行实战之前,我们先给大家看下...
1411 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
4076 0
python爬虫urllib使用和进阶 | Python爬虫实战二
其实爬虫就是浏览器,只不过它是一个特殊的浏览器。爬取网页就是通过HTTP协议访问相应的网页,不过通过浏览器访问往往是人的行为,把这种行为变成使用程序来访问就是爬虫的过程。
378 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4519 0
PySpider python 爬虫
1,关于PySpider工具 http://www.oschina.net/p/pyspider 使用 Python 编写脚本,提供强大的 API Python 2&3 强大的 WebUI 和脚本编辑器、任务监控和项目管理和结果查看 支持 JavaScript 页面 后端系统支持:MySQL, MongoDB, SQLite, Postgresql 支
1351 0
Python爬虫学习系列教程
Python版本:2.7 一、爬虫入门 1. Python爬虫入门一之综述 2. Python爬虫入门二之爬虫基础了解 3. Python爬虫入门三之Urllib库的基本使用 4. Python爬虫入门四之Urllib库的高级用法 5. Python爬虫入门五之URLError异常处理 6. Python爬虫入门六之Cookie的使用
3550 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
5735 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
10778 0
+关注
墨持alvin
架构,数据库相关专家
80
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载