关于抓取网页,分析网页内容,模拟登陆网站的逻辑/流程和注意事项(转)

简介:

抓取网页的一般逻辑和过程

一般普通用户,用浏览器,打开某个URL地址,然后浏览器就可以显示出对应的页面的内容了。

这个过程,如果用程序代码来实现,就可以被称为(用程序实现)抓取网页(的内容,并进行后期处理,提取所需信息等)

对应的英文说法有,website crawl/scrape/data mining。

而用来抓取网页的工具,也常被叫做 spider,crawler等。

即,一般所谓的取网页内容,指的是通过程序(某种语言的程序代码,比如Python脚本语言,C#语言等)实现访问某个URL地址,然后获得其所返回的内容(HTML源码,Json格式的字符串等)。

而对于这个抓取网页的过程,是有一套自己的逻辑的。

想要用程序实现对应的网页内容的抓取,就是要先搞懂这套逻辑,然后再去用对应的不同的语言实现,即可。

抓取网页的一般逻辑

去访问一个URL地址,获得对应的网页的过程,其对应的内部机制是

准备好对应的Http请求(Http Request)+ 提交对应的Http Request

–>

获得返回的响应(Http Response) + 获得Http Response中的网页源码

下面介绍这两大步骤的具体操作流程:

准备此Http请求Request (访问URL之前的准备工作)

1.知道了要访问的URL地址是什么

request url

2.[可选]如果是GET方法,是否还有其他一些参数

此参数:

  • IE中算是称为request parameter
  • Chrome中称为query string

3.确定是GET还是POST方法

4.添加对应的头(Header)信息

即request header

5.[可选]如果是POST方法,则还需要填写对应的数据

此数据:

  • IE中称为request body
  • Chrome中称为Post Data

换句话说:

如果是GET,则是没有POST数据的。

提示:所以,你在IE9中通过F12抓取到的内容中,会看到,对于所有的GET请求,对应的“请求正文(request body)”都是空的。

6.其他一些可能需要准备的东西

(1)代理proxy

(2)设置最大超时timeout时间

(3)是否有cookie

 

提交HttpRequest,即可获得此http请求的响应Response(访问URL之后的要做的工作)

1.获得对应的响应response

2.从响应中获得对应的网页源码等信息

(1)获得返回的网页HTML源码(或json等)

(2)[可选]如果有需要,还要获得对应的cookie

(3)[可选]判断返回的其他一些相关信息,比如response code等

 

【网页抓取过程中的注意事项】

1.网页跳转Redirect

(1)直接跳转

(2)间接跳转

A。javascript脚本中有对应的代码实现网页跳转

B。本身所返回的HTML源码中包含refresh动作,所实现的网页跳转

 

抓取网页后,如何分析获得所需要的内容

一般来说,去访问一个URL地址,所返回的内容,多数都是网页的HTML源码,也有其他一些形式的内容的,比如json等。

我们所想要的则是,从返回的内容(HTML或json等)中,提取我们所需要的特定的信息,即对其进行一定的处理,获得所需信息。

就我所遇到的情况,有几种方法可以实现提取所需的信息:

1. 对于HTML源码:

(1)如果是Python中的话,可以通过调用第三方的Beautifulsoup库

然后再调用find等函数,来提取对应的信息。

这部分内容,相对很复杂,需要详细了解的,可以参考一下:

BlogsToWordPress v3.0 – 将百度空间,网易163等博客搬家到WordPress

中的源码。

(2)直接使用正则表达式自己去提取相关内容

对于内容的分析和提取,很多时候,都是通过正则表达式来实现的。

关于正则表达式的相关知识和总结,去看这里:

【总结】关于正则表达式 v2012-02-20

 

正则表达式是一种规范/规则,具体用何种语言实现,取决于你自己。

我遇到的有Python和C#两种语言:

A。Python:使用re模块,常用的函数是find,,findall,search等。

B:C#:使用Regex类,用对应的pattern和match函数来匹配。

关于C#中的Regex,更多内容请参考:

【总结】C#中的Regex的使用心得和注意事项

 

2.对于Json

可以先去看专门的关于JSON的介绍:

【整理】什么是JSON+如何处理JSON字符串

然后再看下面的如何处理Json。

(1)使用库(函数)来处理

A。Python

Python中,有对应的json库,常用的是json.load,即可将json格式的字符串,转换为对应的字典Dictionary类型变量,很是好用。

(2)还是使用正则表达式来处理

A。Python

Python中的re模块,同上。

B。C#

C#中貌似没有自带json的库,倒是有很多第三方的json库,但是我当时遇到解析json字符串的时候,觉得这些库,使用起来还是很麻烦,所以还是直接使用regex类来处理了。

模拟登陆网站的一般逻辑和过程

而对于用C#实现网页内容抓取和模拟登陆网页方面,一些心得和注意事项,去看这里:

【经验总结】Http,网页访问,request,response相关的知识

 

多种语言(Python/C#)实现抓取网页,模拟登陆网站

【教程】抓取网并提取网页中所需要的信息 之 Python版

【教程】模拟登陆网站 之 Python版(内含两种版本的完整的可运行的代码)

【教程】抓取网并提取网页中所需要的信息 之 C#版

【教程】模拟登陆网站 之 C#版(内含两种版本的完整的可运行的代码)




本文转自黄聪博客园博客,原文链接:http://www.cnblogs.com/huangcong/archive/2012/12/07/2807577.html,如需转载请自行联系原作者

相关文章
|
4天前
|
数据采集 Web App开发 JSON
浏览器插件:WebScraper基本用法和抓取页面内容(不会编程也能爬取数据)
本文以百度为实战案例演示使用WebScraper插件抓取页面内容保存到文件中。以及WebScraper用法【2月更文挑战第1天】
164 2
浏览器插件:WebScraper基本用法和抓取页面内容(不会编程也能爬取数据)
|
4天前
|
数据采集 存储
4个步骤:如何使用 SwiftSoup 和爬虫代理获取网站视频
本文介绍了如何使用SwiftSoup库和爬虫代理技术抓取网站视频资源。通过安装SwiftSoup、获取HTML内容、解析HTML以提取视频链接,以及设置爬虫代理来绕过访问限制,可以实现高效、灵活的视频资源获取。示例代码展示了一个完整的过程,包括下载并存储视频文件到设备。结合这两种技术,可以有效应对网站访问挑战,方便地获取互联网视频资源。
4个步骤:如何使用 SwiftSoup 和爬虫代理获取网站视频
|
4天前
|
数据采集 机器学习/深度学习 API
爬虫过程中如何处理验证码?
【2月更文挑战第22天】【2月更文挑战第69篇】 爬虫过程中如何处理验证码?
|
4天前
|
数据采集 JSON API
使用phpQuery库进行网页数据爬虫案例
使用phpQuery库进行网页数据爬虫案例
|
5月前
|
XML JavaScript 测试技术
学会XPath,轻松抓取网页数据
# 一、定义 XPath(XML Path Language)是一种用于在 XML 文档中定位和选择节点的语言。XPath的选择功能非常强大,可以通过简单的路径选择语法,选取文档中的任意节点或节点集。学会XPath,可以轻松抓取网页数据,提高数据获取效率。 ## 二、XPath基础语法 节点(Nodes): XML 文档的基本构建块,可以是元素、属性、文本等。 路径表达式: 用于定位 XML 文档中的节点。路径表达式由一系列步骤组成,每个步骤用斜杠 / 分隔。 XPath的节点是指在XML或HTML文档中被选择的元素或属性。XPath中有7种类型的节点,包括元素节点、属性节点、文本节点、命
77 1
学会XPath,轻松抓取网页数据
|
9月前
|
前端开发
如何用ajax请求后台数据的两种全网最实用且详细的写法
如何用ajax请求后台数据的两种全网最实用且详细的写法
89 0
|
9月前
|
数据采集 前端开发 JavaScript
Python爬虫实战:抽象包含Ajax动态内容的网页数据
Python爬虫实战:抽象包含Ajax动态内容的网页数据
|
9月前
|
Web App开发 网络协议 网络安全
面试:从 URL 在浏览器被被输入到页面展现的过程中发生了什么?
经有这么一道面试题:从 URL 在浏览器被被输入到页面展现的过程中发生了什么? 相信大多数准备过的同学都能回答出来,但是如果继续问:收到的 HTML 如果包含几十个图片标签,这些图片是以什么方式、什么顺序、建立了多少连接、使用什么协议被下载下来的呢?
|
10月前
|
数据采集 前端开发 JavaScript
解析网页弹窗验证机制及应对策略的Selenium爬虫案例
解析网页弹窗验证机制及应对策略的Selenium爬虫案例
|
缓存 网络协议 JavaScript
老生常谈之从输入URL到页面呈现的过程(全)
面试中经常会遇到这个问题,简述从输入URL到页面呈现的过程,根据应试者的经验,理解程度不同,答案也是五花八门,下面说说我自己的理解。