老司机带你学爬虫——Python爬虫技术分享-阿里云开发者社区

开发者社区> yunqi20191113> 正文

老司机带你学爬虫——Python爬虫技术分享

简介:
+关注继续查看

什么是“爬虫”?

简单来说,写一个从web上获取需要数据并按规定格式存储的程序就叫爬虫;

爬虫理论上步骤很简单,第一步获取html源码,第二步分析html并拿到数据。但实际操作,老麻烦了~

用Python写“爬虫”有哪些方便的库

常用网络请求库:requests、urllib、urllib2、

urllib和urllib2是Python自带模块,requests是第三方库

常用解析库和爬虫框架:BeautifulSoup、lxml、HTMLParser、selenium、Scrapy

HTMLParser是Python自带模块;

BeautifulSoup可以将html解析成Python语法对象,直接操作对象会非常方便;

lxml可以解析xml和html标签语言,优点是速度快;

selenium调用浏览器的driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码;

Scrapy很强大且有名的爬虫框架,可以轻松满足简单网站的爬取; 这个python学习(q-u-n):二二七,四三五,四五零 期待大家一起交流讨论,讲实话还是一个非常适合学习的地方的。软件各种入门资料

“爬虫”需要掌握哪些知识

1)超文本传输协议HTTP:HTTP协议定义了浏览器怎样向万维网服务器请求万维网文档,以及服务器怎样把文档传送给浏览器。常用的HTTP方法有GET、POST、PUT、DELETE。

【插曲:某站长做了一个网站,奇葩的他把删除的操作绑定在GET请求上。百度或者谷歌爬虫爬取网站链接,都是用的GET请求,而且一般用浏览器访问网页都是GET请求。在谷歌爬虫爬取他网站的信息时,该网站自动删除了数据库的全部数据】

2)统一资源定位符URL: URL是用来表示从因特网上得到的资源位置和访问这些资源的方法。URL给资源的位置提供一种抽象的识别方法,并用这种方法给资源定位。只要能够对资源定位,系统就可以对资源进行各种操作,如存取、更新、替换和查找其属性。URL相当于一个文件名在网络范围的扩展。

3)超文本标记语言HTTP:HTML指的是超文本标记语言,是使用标记标签来描述网页的。HTML文档包含HTML标签和纯文本,也称为网页。Web 浏览器的作用是读取 HTML 文档,并以网页的形式显示出它们。浏览器不会显示 HTML 标签,而是使用标签来解释页面的内容。简而言之就是你要懂点前端语言,这样描述更直观贴切。

4)浏览器调试功能:学爬虫就是抓包,对请求和响应进行分析,用代码来模拟

进阶爬虫

熟练了基本爬虫之后,你会想着获取更多的数据,抓取更难的网站,然后你就会发现获取数据并不简单,而且现在反爬机制也非常的多。

a.爬取知乎、简书,需要登录并将下次的请求时将sessions带上,保持登录姿态;

b.爬取亚马逊、京东、天猫等商品信息,由于信息量大、反爬机制完善,需要分布式【这里就难了】爬取,以及不断切换USER_AGENT和代理IP;

c.滑动或下拉加载和同一url加载不同数据时,涉及ajax的异步加载。这里可以有简单的返回html代码、或者json数据,也可能有更变态的返回js代码然后用浏览器执行,逻辑上挺简单、但是写代码那叫一个苦哇;

d.还有点是需要面对的,验证码识别。这个有专门解析验证码的平台.....不属于爬虫范畴了,自己处理需要更多的数据分析知识。

e.数据储存,关系数据库和非关系数据库的选择和使用,设计防冗余数据库表格,去重。大量数据存储数据库,会变得很头疼,

f.编码解码问题,数据的存储涉及一个格式的问题,python2或者3也都会涉及编码问题。另外网页结构的不规范性,编码格式的不同很容易触发编码异常问题。下图一个简单的转码规则

1240

一些常见的限制方式

a.Basic Auth:一般会有用户授权的限制,会在headers的Autheration字段里要求加入;

b.Referer:通常是在访问链接时,必须要带上Referer字段,服务器会进行验证,例如抓取京东的评论;

c.User-Agent:会要求真是的设备,如果不加会用编程语言包里自有User-Agent,可以被辨别出来;

d.Cookie:一般在用户登录或者某些操作后,服务端会在返回包中包含Cookie信息要求浏览器设置Cookie,没有Cookie会很容易被辨别出来是伪造请求;也有本地通过JS,根据服务端返回的某个信息进行处理生成的加密信息,设置在Cookie里面;

e.Gzip:请求headers里面带了gzip,返回有时候会是gzip压缩,需要解压;

f.JavaScript加密操作:一般都是在请求的数据包内容里面会包含一些被javascript进行加密限制的信息,例如新浪微博会进行SHA1和RSA加密,之前是两次SHA1加密,然后发送的密码和用户名都会被加密;

g.网站自定义其他字段:因为http的headers可以自定义地段,所以第三方可能会加入了一些自定义的字段名称或者字段值,这也是需要注意的。

真实的请求过程中,其实不止上面某一种限制,可能是几种限制组合在一次,比如如果是类似RSA加密的话,可能先请求服务器得到Cookie,然后再带着Cookie去请求服务器拿到公钥,然后再用js进行加密,再发送数据到服务器。所以弄清楚这其中的原理,并且耐心分析很重要。

总结

爬虫入门不难,但是需要知识面更广和更多的耐心

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
python编程-29:Scrapy爬虫基本使用
python编程-29:Scrapy爬虫基本使用
15 0
scrapy 爬虫 环境搭建入门(一)
Scrapy介绍 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。抓取网页的一般方法是,定义一个入口页面,然后一般一个页面会有其他页面的URL,于是从当前页
2809 0
分享录制的正则表达式入门、高阶以及使用 .NET 实现网络爬虫视频教程
我发布的「正则表达式入门以及高阶教程」,欢迎学习。 课程简介 正则表达式是软件开发必须掌握的一门语言,掌握后才能很好地理解到它的威力; 课程采用概念和实验操作 4/6 分隔,帮助大家理解概念后再使用大量的实例加深对概念的理解; 实例操作是对概念最好的理解,也是学习新语言最有效的办法; 在课程中也穿插着大量软件开发的技巧和大家分享; 应该是把晦涩的正则表达式讲解的最生动的课程; 掌握了正则表达式后,您一定会觉得这是一门最值得掌握的语言。
886 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4398 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7735 0
python单线程爬虫(一)
学习了python的requests爬虫库,首先安装pip包管理工具,下载get-pip.py. 我的机器上安装的既有python2也有python3。
787 0
关于Scrapy爬虫项目运行和调试的小技巧(上篇)
扫除运行Scrapy爬虫程序的bug之后,现在便可以开始进行编写爬虫逻辑了。在正式开始爬虫编写之前,在这里介绍四种小技巧,可以方便我们操纵和调试爬虫。 一、建立main.py文件,直接在Pycharm下进行调试     很多时候我们在使用Scrapy爬虫框架的时候,如果想运行Scrapy爬虫项目的话,一般都会想着去命令行中直接执行命令“scrapy crawl crawler_name”,其中crawler_name指的是爬虫的名字,在一开始创建Scrapy爬虫模板的时候就指定了的,而且在该爬虫项目中具有唯一性。
1278 0
python实现简易采集爬虫
#!/usr/bin/python #-*-coding:utf-8-*- # 简易采集爬虫 # 1.采集Yahoo!Answers,parseData函数修改一下,可以采集任何网站 # 2.
1164 0
+关注
yunqi20191113
自己建了Python学习交流裙 227 435 450你如果学习没有用学习交流的地方可以进来一起学习交流
49
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载