用PHP抓取页面并分析

简介:

在做抓取前记得把php.ini中的max_execution_time设置的大点不然会报错的。

 

一、用Snoopy.class.php抓取页面

  一个挺萌的类名。功能也很强大用来模拟浏览器的功能可以获取网页内容发送表单等。

  1我现在要抓取一个网站的列表页的内容我要抓取的是全国的医院信息内容如下图

  

 

  2我很自然的将URL地址复制下来用Snoopy类来抓取前10页的页面内容而且将内容放到本地来在本地建立html文件等下用于分析。

$snoopy=new Snoopy();
//医院list页面
 for($i = 1; $i <= 10; $i++) {
   $url = 'http://www.guahao.com/hospital/areahospitals?p=全国&pageNo=' . $i;
   $snoopy->fetch($url);
   file_put_contents("web/page/$i.html", $snoopy->results);
 }
 echo 'success';

  

  3很奇怪的是返回回来的不是全国的内容而是上海的相关内容

  

 

  4后面怀疑是里面可能设置了cookie然后用firebug查看果然有惊人内幕

  

 

  5在请求的时候将cookie的值也放进去就加了个设置语句$snoopy->cookies["_area_"]情况就大不一样了顺利返回全国信息。

$snoopy=new Snoopy();
//医院list页面
$snoopy->cookies["_area_"] = '{"provinceId":"all","provinceName":"全国","cityId":"all","cityName":"不限"}';
for($i = 1; $i <= 10; $i++) {
  //...页面内容抓取...
}

 

二、用phpQuery.php分析页面

  用了这个类能像jQuery那样操作DOM不必为采集网站内容而使用那些头疼的正则算法了用法上与jQuery相似只是$()换成了pq()。主页放在google的code中被屏蔽了得FQ一下下面的附件中我分享了一个最新版本的fgFQ软件。用法很简单只要打开fg742p.exe文件就可以了。

  1我要获取每一页内容中的每个具体医院的信息例如要获取301医院的信息。

  

  每页的内容页面已经在前面的操作中抓取到了本地。所以可以直接用localhost了。

  $snoopy=new Snoopy();
 for($i = 1; $i <= 10; $i++) {
    $url = "http://localhost/spider/web/page/$i.html";
    $snoopy->fetch($url);
    $html = $snoopy->results;
  }

  

  2用phpQuery获取到节点信息如下图的DOM结构

  

  使用一些phpQuery的方法结合DOM结构读取每个医院信息的URL地址。

for($i = 1; $i <= 10; $i++) {
    //...抓取本地页面...
    phpQuery::newDocument($html);  //初始化对象
    $urls = array();
    foreach(pq('.search-hos-info dl dt a') as $item) {
      array_push($urls, pq($item)->attr('href')); //医院详情
    }
}

  

  3根据读取到的URL地址列表抓取指定的页面。

$detailIndex = 1;
for($i = 1; $i <= 10; $i++) {
    //...抓取本地页面...
    //...获取指定节点的href地址信息...
    $len = count($urls);
    for($row = 1; $row <= $len; $row++) {
      $snoopy->fetch($urls[$row - 1]);
      file_put_contents("web/hospital/$detailIndex.html", $snoopy->results);
      $detailIndex++;
    }
}

 

FQ工具下载

翻越障碍.rar

demo下载

http://download.csdn.net/detail/loneleaf1/8089507

 

Snoopy类的一些说明

类方法

fetch($URI) 这是为了抓取网页的内容而使用的方法。
$URI参数是被抓取网页的URL地址。
抓取的结果被存储在 $this->results 中。
如果你正在抓取的是一个框架Snoopy将会将每个框架追踪后存入数组中然后存入 $this->results。
fetchtext($URI) 本方法类似于fetch()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回网页中的文字内容。
fetchform($URI) 本方法类似于fetch()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回网页中表单内容(form)。
fetchlinks($URI) 本方法类似于fetch()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回网页中链接(link)。
默认情况下相对链接将自动补全转换成完整的URL。
submit($URI,$formvars) 本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。
submittext($URI,$formvars) 本方法类似于submit()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回登陆后网页中的文字内容。
submitlinks($URI) 本方法类似于submit()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回网页中链接(link)。
默认情况下相对链接将自动补全转换成完整的URL。

类属性

$host 连接的主机
$port 连接的端口
$proxy_host 使用的代理主机如果有的话
$proxy_port 使用的代理主机端口如果有的话
$agent 用户代理伪装 (Snoopy v0.1)
$referer 来路信息如果有的话
$cookies cookies 如果有的话
$rawheaders 其他的头信息, 如果有的话
$maxredirs 最大重定向次数 0=不允许 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否将链接都补全为完整地址 (true)
$user 认证用户名, 如果有的话
$pass 认证用户名, 如果有的话
$accept http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪里报错, 如果有的话
$response_code 从服务器返回的响应代码
$headers 从服务器返回的头信息
$maxlength 最长返回数据长度
$read_timeout 读取操作超时 (requires PHP 4 Beta 4+)设置为0为没有超时
$timed_out 如果一次读取操作超时了本属性返回 true (requires PHP 4 Beta 4+)
$maxframes 允许追踪的框架最大数量
$status 抓取的http的状态
$temp_dir 网页服务器能够写入的临时文件目录 (/tmp)
$curl_path cURL binary 的目录, 如果没有cURL binary就设置为 false


    本文转自 咖啡机K.F.J   博客园博客原文链接http://www.cnblogs.com/strick/p/4055283.html如需转载请自行联系原作者



相关文章
|
2月前
|
设计模式 PHP
php设计模式--观察者模式(4.1)面向过程完成页面内容切换
php设计模式--观察者模式(4.1)面向过程完成页面内容切换
20 0
|
9月前
|
小程序 前端开发 PHP
PHP实现生成小程序二维码带参数进入指定页面、小程序URL scheme实现携带数据跳转小程序
PHP实现生成小程序二维码带参数进入指定页面、小程序URL scheme实现携带数据跳转小程序
154 0
|
2月前
|
PHP 数据安全/隐私保护
PHP页面如何实现设置独立访问密码
PHP网页如果需要查看信息必须输入密码,验证后才可显示出内容的代码如何实现? 对某些php页面设置单独的访问密码,如果密码不正确则无法查看内容,相当于对页面进行了一个加密
24 2
PHP页面如何实现设置独立访问密码
|
2月前
|
存储 监控 安全
PHP医院安全(不良)事件报告系统源码 vue2+element支持11大类不良事件上报、审核处理、分析改进
医院安全(不良)事件管理系统采用无责的、自愿的填报不良事件方式,有效地减轻医护人员的思想压力,实现以事件为主要对象,可以自动、及时、实际地反应医院的安全、不良、近失事件的情况,更好地掌握不良事件的发生趋势,为及时采取适当的管理措施和流程、制度改进提供了良好的量化依据。系统通过汇集不同类型事件的报告,从中分析出医院内部潜在的问题和风险,将发生的事故降到最低,从而保证病人安全和医护人员安全。
35 0
|
2月前
|
存储 监控 关系型数据库
PHP编写的电脑监控软件:用户登录日志记录与分析
使用PHP编写简单但功能强大的电脑监控软件,记录用户登录日志并进行分析。代码示例展示了如何获取并存储用户IP地址和登录时间到数据库,然后进行登录数据的分析,如计算登录频率和常见登录时间。此外,还介绍了如何通过定时任务自动将监控数据提交到网站,以便实时监控用户活动,提升系统安全性和稳定性。
119 0
|
2月前
|
运维 Linux Apache
LAMP架构调优(十)——Apache禁止指定目录PHP解析与错误页面优化
LAMP架构调优(十)——Apache禁止指定目录PHP解析与错误页面优化
253 2
|
2月前
|
XML JSON API
快速淘宝商品详情页面API接口传输 php
PI(Application Programming Interface,应用程序接口)是一组预定义的函数、协议和工具,用于构建软件应用程序之间的交互。它允许不同的软件系统和应用通过统一的接口进行数据交换和通信
|
2月前
|
数据采集 存储 JavaScript
PHP爬虫技术:利用simple_html_dom库分析汽车之家电动车参数
本文旨在介绍如何利用PHP中的simple_html_dom库结合爬虫代理IP技术来高效采集和分析汽车之家网站的电动车参数。通过实际示例和详细说明,读者将了解如何实现数据分析和爬虫技术的结合应用,从而更好地理解和应用相关技术。
PHP爬虫技术:利用simple_html_dom库分析汽车之家电动车参数
|
7月前
|
PHP 数据库
【PHP学习】—PHP连接数据库实现表单页面的验证功能(七)
【PHP学习】—PHP连接数据库实现表单页面的验证功能(七)
|
12月前
|
前端开发 JavaScript PHP
php开发实战分析(10):城市区县联动筛选
php开发实战分析(10):城市区县联动筛选
93 1