开发者社区> 航空母舰> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

网站采集器介绍

简介:
+关注继续查看

常用的网络采集器主要分为桌面版和服务器版:桌面版是基于window等平台,通过本地带宽来进行资料采集与发布程序,主要代表有“火车头网站采集器”和 “EditorTools”;服务器版是采用PHP或ASP编程,运行于Linux或windows主机,通过服务器带宽来进行资料采集与发布程序,主要 代表有“小蜜蜂网站采集器”。两大类采集器孰优孰劣不言而喻

PHP采集程序中常用的函数

Java代码  收藏代码
  1. <?php  
  2. //去除HTML标记  
  3. function Text2Html($txt){  
  4.     $txt = str_replace("  "," ",$txt);  
  5.     $txt = str_replace("<","&lt;",$txt);  
  6.     $txt = str_replace(">","&gt;",$txt);  
  7.     $txt = preg_replace("/[\r\n]{1,}/isU","<br/>\r\n",$txt);  
  8.     return $txt;  
  9. }  
  10.   
  11. //清除HTML标记  
  12. function ClearHtml($str){  
  13.     $str = str_replace('<','&lt;',$str);  
  14.     $str = str_replace('>','&gt;',$str);  
  15.     return $str;  
  16. }  
  17. //相对路径转化成绝对路径  
  18. function relative_to_absolute($content, $feed_url) {  
  19.     preg_match('/(http|https|ftp):\/\//', $feed_url, $protocol);  
  20.     $server_url = preg_replace("/(http|https|ftp|news):\/\//""", $feed_url);  
  21.     $server_url = preg_replace("/\/.*/""", $server_url);  
  22.   
  23.     if ($server_url == '') {  
  24.         return $content;  
  25.     }  
  26.   
  27.     if (isset($protocol[0])) {  
  28.         $new_content = preg_replace('/href="\//''href="'.$protocol[0].$server_url.'/', $content);  
  29.         $new_content = preg_replace('/src="\//''src="'.$protocol[0].$server_url.'/', $new_content);  
  30.     } else {  
  31.         $new_content = $content;  
  32.     }  
  33.     return $new_content;  
  34. }  
  35. //取得所有链接  
  36. function get_all_url($code){  
  37.     preg_match_all('/<a\s+href=["|\']?([^>"\' ]+)["|\']?\s*[^>]*>([^>]+)<\/a>/i',$code,$arr);  
  38.     return array('name'=>$arr[2],'url'=>$arr[1]);  
  39. }  
  40.   
  41. //获取指定标记中的内容  
  42. function get_tag_data($str, $start, $end){  
  43.     if ( $start == '' || $end == '' ){  
  44.         return;  
  45.     }  
  46.     $str = explode($start, $str);  
  47.     $str = explode($end, $str[1]);  
  48.     return $str[0];  
  49. }  
  50. //HTML表格的每行转为CSV格式数组  
  51. function get_tr_array($table) {  
  52.     $table = preg_replace("'<td[^>]*?>'si",'"',$table);  
  53.     $table = str_replace("</td>",'",',$table);  
  54.     $table = str_replace("</tr>","{tr}",$table);  
  55.     //去掉 HTML 标记  
  56.     $table = preg_replace("'<[\/\!]*?[^<>]*?>'si","",$table);  
  57.     //去掉空白字符  
  58.     $table = preg_replace("'([\r\n])[\s]+'","",$table);  
  59.     $table = str_replace(" ","",$table);  
  60.     $table = str_replace(" ","",$table);  
  61.   
  62.     $table = explode(",{tr}",$table);  
  63.     array_pop($table);  
  64.     return $table;  
  65. }  
  66.   
  67. //将HTML表格的每行每列转为数组,采集表格数据  
  68. function get_td_array($table) {  
  69.     $table = preg_replace("'<table[^>]*?>'si","",$table);  
  70.     $table = preg_replace("'<tr[^>]*?>'si","",$table);  
  71.     $table = preg_replace("'<td[^>]*?>'si","",$table);  
  72.     $table = str_replace("</tr>","{tr}",$table);  
  73.     $table = str_replace("</td>","{td}",$table);  
  74.     //去掉 HTML 标记  
  75.     $table = preg_replace("'<[\/\!]*?[^<>]*?>'si","",$table);  
  76.     //去掉空白字符  
  77.     $table = preg_replace("'([\r\n])[\s]+'","",$table);  
  78.     $table = str_replace(" ","",$table);  
  79.     $table = str_replace(" ","",$table);  
  80.   
  81.     $table = explode('{tr}', $table);  
  82.     array_pop($table);  
  83.     foreach ($table as $key=>$tr) {  
  84.         $td = explode('{td}', $tr);  
  85.         array_pop($td);  
  86.         $td_array[] = $td;  
  87.     }  
  88.     return $td_array;  
  89. }  
  90.   
  91. //返回字符串中的所有单词 $distinct=true 去除重复  
  92. function split_en_str($str,$distinct=true) {  
  93.     preg_match_all('/([a-zA-Z]+)/',$str,$match);  
  94.     if ($distinct == true) {  
  95.         $match[1] = array_unique($match[1]);  
  96.     }  
  97.     sort($match[1]);  
  98.     return $match[1];  
  99. }  

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Jmeter系列(12)- 控制器Controllers 的入门介绍
Jmeter系列(12)- 控制器Controllers 的入门介绍
14 0
网站被入侵导致阿里云违规URL屏蔽该如何处理
距离2022年元旦约越来越近,我们发现很多网站用IIS环境尤其是aspx+sqlserver架构的网站总是被攻击,具体症状首先是接到阿里云的通知说是有违规URL通知,然后过了几天发现百度site网站域名,多了很多与网站本身内容不相关的垃圾快照内容,从百度点击这个快照地址进去后显示404找不到页面,但从百度站长工具里抓取页面就能看到内容,说明攻击者对搜索引擎的UA标识做了判断进行混淆,导致从肉眼看不出任何问题,但快照依然在继续增加新收录。
142 0
使用 Scrapy 建立一个网站抓取器
Scrapy 是一个用于爬行网站以及在数据挖掘、信息处理和历史档案等大量应用范围内抽取结构化数据的应用程序框架,广泛用于工业。 在本文中我们将建立一个从 Hacker News 爬取数据的爬虫,并将数据按我们的要求存储在数据库中。
66 0
手把手教你教你在阿里云服务器上搭建宝塔面板和安装WordPress博客网站
手把手教你教你在阿里云服务器上搭建宝塔面板和安装WordPress博客网站
1231 0
android wap网站自动适应
 做个整理。 研究了一下新浪的wap网站,发现原来我们的head存在着这样的差异…… 在手机网站的head里加入以下标签,在iPhone的浏览器中页面将以原始大小显示,并不允许缩放。
847 0
android 开发网站收集
安盟开发社区 http://d-android.com/developer/
544 0
+关注
514
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载