网站采集器介绍-阿里云开发者社区

开发者社区> 航空母舰> 正文

网站采集器介绍

简介:
+关注继续查看

常用的网络采集器主要分为桌面版和服务器版:桌面版是基于window等平台,通过本地带宽来进行资料采集与发布程序,主要代表有“火车头网站采集器”和 “EditorTools”;服务器版是采用PHP或ASP编程,运行于Linux或windows主机,通过服务器带宽来进行资料采集与发布程序,主要 代表有“小蜜蜂网站采集器”。两大类采集器孰优孰劣不言而喻

PHP采集程序中常用的函数

Java代码  收藏代码
  1. <?php  
  2. //去除HTML标记  
  3. function Text2Html($txt){  
  4.     $txt = str_replace("  "," ",$txt);  
  5.     $txt = str_replace("<","&lt;",$txt);  
  6.     $txt = str_replace(">","&gt;",$txt);  
  7.     $txt = preg_replace("/[\r\n]{1,}/isU","<br/>\r\n",$txt);  
  8.     return $txt;  
  9. }  
  10.   
  11. //清除HTML标记  
  12. function ClearHtml($str){  
  13.     $str = str_replace('<','&lt;',$str);  
  14.     $str = str_replace('>','&gt;',$str);  
  15.     return $str;  
  16. }  
  17. //相对路径转化成绝对路径  
  18. function relative_to_absolute($content, $feed_url) {  
  19.     preg_match('/(http|https|ftp):\/\//', $feed_url, $protocol);  
  20.     $server_url = preg_replace("/(http|https|ftp|news):\/\//""", $feed_url);  
  21.     $server_url = preg_replace("/\/.*/""", $server_url);  
  22.   
  23.     if ($server_url == '') {  
  24.         return $content;  
  25.     }  
  26.   
  27.     if (isset($protocol[0])) {  
  28.         $new_content = preg_replace('/href="\//''href="'.$protocol[0].$server_url.'/', $content);  
  29.         $new_content = preg_replace('/src="\//''src="'.$protocol[0].$server_url.'/', $new_content);  
  30.     } else {  
  31.         $new_content = $content;  
  32.     }  
  33.     return $new_content;  
  34. }  
  35. //取得所有链接  
  36. function get_all_url($code){  
  37.     preg_match_all('/<a\s+href=["|\']?([^>"\' ]+)["|\']?\s*[^>]*>([^>]+)<\/a>/i',$code,$arr);  
  38.     return array('name'=>$arr[2],'url'=>$arr[1]);  
  39. }  
  40.   
  41. //获取指定标记中的内容  
  42. function get_tag_data($str, $start, $end){  
  43.     if ( $start == '' || $end == '' ){  
  44.         return;  
  45.     }  
  46.     $str = explode($start, $str);  
  47.     $str = explode($end, $str[1]);  
  48.     return $str[0];  
  49. }  
  50. //HTML表格的每行转为CSV格式数组  
  51. function get_tr_array($table) {  
  52.     $table = preg_replace("'<td[^>]*?>'si",'"',$table);  
  53.     $table = str_replace("</td>",'",',$table);  
  54.     $table = str_replace("</tr>","{tr}",$table);  
  55.     //去掉 HTML 标记  
  56.     $table = preg_replace("'<[\/\!]*?[^<>]*?>'si","",$table);  
  57.     //去掉空白字符  
  58.     $table = preg_replace("'([\r\n])[\s]+'","",$table);  
  59.     $table = str_replace(" ","",$table);  
  60.     $table = str_replace(" ","",$table);  
  61.   
  62.     $table = explode(",{tr}",$table);  
  63.     array_pop($table);  
  64.     return $table;  
  65. }  
  66.   
  67. //将HTML表格的每行每列转为数组,采集表格数据  
  68. function get_td_array($table) {  
  69.     $table = preg_replace("'<table[^>]*?>'si","",$table);  
  70.     $table = preg_replace("'<tr[^>]*?>'si","",$table);  
  71.     $table = preg_replace("'<td[^>]*?>'si","",$table);  
  72.     $table = str_replace("</tr>","{tr}",$table);  
  73.     $table = str_replace("</td>","{td}",$table);  
  74.     //去掉 HTML 标记  
  75.     $table = preg_replace("'<[\/\!]*?[^<>]*?>'si","",$table);  
  76.     //去掉空白字符  
  77.     $table = preg_replace("'([\r\n])[\s]+'","",$table);  
  78.     $table = str_replace(" ","",$table);  
  79.     $table = str_replace(" ","",$table);  
  80.   
  81.     $table = explode('{tr}', $table);  
  82.     array_pop($table);  
  83.     foreach ($table as $key=>$tr) {  
  84.         $td = explode('{td}', $tr);  
  85.         array_pop($td);  
  86.         $td_array[] = $td;  
  87.     }  
  88.     return $td_array;  
  89. }  
  90.   
  91. //返回字符串中的所有单词 $distinct=true 去除重复  
  92. function split_en_str($str,$distinct=true) {  
  93.     preg_match_all('/([a-zA-Z]+)/',$str,$match);  
  94.     if ($distinct == true) {  
  95.         $match[1] = array_unique($match[1]);  
  96.     }  
  97.     sort($match[1]);  
  98.     return $match[1];  
  99. }  

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总
本文列举了Flume采集网站日志到MaxCompute的一些常见问题,欢迎大家补充;
4427 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4615 0
SharePoint 2010 网站备份还原简单介绍
  今天尝试了SharePoint2010网站的备份和还原,从网上搜一些文档看看,然后自己试试,感觉和2007的操作没什么太大的区别,跟大家分享下自己尝试的命令行方式和数据库的方式,2007自己常用的也是这两种方式。
961 0
如何不编程,采集网站评论信息?(视频教程)
如果你不想学编程,数据采集爬虫也是可以用的。 简介 最近的一次组会,我们请来了一位分享嘉宾——15级研究生庞琳同学,给我们科研团队分享网站评论数据的采集。
1039 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
10784 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
4265 0
支付宝电脑网站接口产品介绍
产品介绍   电脑网站支付的接口主要是用于商家在PC端发起收款,用户可以扫码付款也可以登录支付宝账户网页支付。典型的PC端收款网站如:优酷网(PC端购买优酷会员)。详细的产品信息点击【查看】   使用场景流程,申请条件,产品费率点击【查看】   特别说明1:电脑网站支付接口支持沙箱测试,如果您没有...
338 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
3664 0
+关注
514
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载