AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

PHP自动抽取论坛内容

2010-03-31 727
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 统计结果：1、CU：最后统计的空间浪费结果是：2282M end time:2010-04-04 11:38:40, 主题: 351641, 帖子: 1432244, 会员: 23633797，创...
统计结果：
1、CU：最后统计的空间浪费结果是：2282M end time:2010-04-04 11:38:40, 主题: 351641 , 帖子: 1432244, 会员: 23633797，创建于2003-2-10
2、化工：最后统计的空间浪费结果是：88M end time:2010-04-05 8:52:40, 主题: 3548, 帖子: 9608, 会员: 19094，创建于2007-2-4
3、人大经济论坛：今日: 1216, 昨日: 11562, 最高日: 16583 , 主题: 585770, 帖子: 4881335, 会员: 1721538，创建于2004-5-23
4、起点手机论坛，http://www.dimboy.cn/index.php，

今日: 1687, 昨日: 8143, 会员: 44822

5、我要玩手机论坛，http://bbs.512530.com/512530.php，今日: 2201, 昨日: 12656, 会员: 4048683

第一版：［2010-3-31］
<?php     
$url = "http://linux.chinaunix.net/bbs/thread-1128442-1-1.html";
$ch = curl_init();
$timeout = 5;
$sum = 0;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

$contents = curl_exec($ch);
curl_close($ch);

 $path = '/tmp';
 $p = opendir($path);

 if(is_dir($path)){
    chdir($path);
     echo scandir($p);
    
    $ereg = '.*';
    ereg($ereg,$contents,$outcome);
      print_r($outcome);
//    foreach($outcome as $string)
//        echo $string.'
';
        //$sum += strlen($string);
    file_put_contents(web,$sum);
 }else
 echo "$path is not dir";

 closedir($path);
?>

第二版：［2010-4-1］
<?php
  define("CU","http://linux.chinaunix.net/bbs/forum-64-");

 // $url = "http://linux.chinaunix.net/bbs/thread-1128442-1-1.html";

 //判断网页链接是否已经到头[未完成！]
  function isLinkEnd($url1,$url2){
      $page1 = file_get_contents($url1);
      $page2 = file_get_contents($url2);
      $startword = ' ';
      $endword = '';
      $startpos1 = strpos($page1,$startword);
      $endpos1 = strpos($page1,$endword);
      $startpos2 = strpos($page2,$startword);
      $endpos2 = strpos($page2,$endword);
      $result1 = strstr($page1,$startpos1+strlen($startword),$endpos1-$startpos1-$strlen($startword));
      $result2 = strstr($page2,$startpos2+strlen($startword),$endpos2-$startpos1-$strlen($startword));
      return ($result1 == $result2?0:1);
    }
  
  //自动抽取chinaunix.net上含有回复下载的所有链接,保存为数组返回[已完成！]
  function linksOf(){
      $page = 1;
      $thisurl = CU."$page".'.html';

      while( $page             $links1[] = $thisurl;
            $page++;
            $thisurl = CU."$page".'.html';
      }
      return $links1;
    }
  
    //自动检查所有链接的分页页面地址，保存为数组返回[已完成！]
    function linksOfPart($links1){
        foreach($links1 as $linksBefore){
            $contents = file($linksBefore);
            $ereg1 = '                 }
            }
        }
        return $linksPerArticle;
    }
  
   //自动检查所有链接地址，保存为数组返回[尚未完成！]
    function linksOfAll($linksPerArticle){
        foreach($linksPerArticle as $linksBefore){
            $contents = file($url);
          
        }
        return $linksOfAll;
    }
  
   //计算打开的每页无效字符字节数[已完成！]
  function countPerPage($url){
      $contents = file($url);
      $sum = 0;
  
      $ereg1 = '
    define("CU_F","http://linux.chinaunix.net/bbs/thread-");

 // $url = "http://linux.chinaunix.net/bbs/thread-1128442-1-1.html";

   //判断网页链接是否已经到头[已完成！]
    function isLinkEnd($url1,$url2){
        $page1 = file_get_contents($url1);
        $page2 = file_get_contents($url2);
        $startword = '';
        $endword = '';
        $startpos1 = strpos($page1,$startword);
        $endpos1 = strpos($page1,$endword);
        $startpos2 = strpos($page2,$startword);
        $endpos2 = strpos($page2,$endword);
        $result1 = substr($page1,$startpos1+strlen($startword),$endpos1-$startpos1-strlen($startword));
        $result2 = substr($page2,$startpos2+strlen($startword),$endpos2-$startpos1-strlen($startword));
       
        //返回0说明到头，返回1尚未到头
        return ($result1 == $result2?0:1);
    }

   
  //自动抽取chinaunix.net上含有回复下载的所有链接,保存为数组返回[已完成！]
  function linksOf(){
      $page = 1;
      $thisurl = CU."$page".'.html';

      while( $page             $links1[] = $thisurl;
            $page++;
            $thisurl = CU."$page".'.html';
      }
      return $links1;
    }
   
    //自动检查所有链接的分页页面地址，保存为数组返回[已完成！]
    function linksOfPart($links1){
        foreach($links1 as $linksBefore){
            $contents = file($linksBefore);
            $ereg1 = '                }
            }
        }
        return $linksPerArticle;
    }
   
   //自动检查所有链接地址，保存为数组返回[已完成！]
    function linksOfAll($linksPerArticle){
        foreach($linksPerArticle as $links){
            $i = 1;
            $page_before = CU_F."$links-$i".'-1.html';
            $i++;
            $page_after = CU_F."$links-$i".'-1.html';
           
            while(isLinkEnd($page_before,$page_after)){
                $linksOfAll[] = $page_before;
                $page_before = $page_after;
                $i++;
                $page_after = CU_F."$links-$i".'-1.html';
            }
            $linksOfAll[] = $page_before;
        }
        return $linksOfAll;
    }
   
   //计算打开的每页无效字符字节数[已完成！]
  function countPerPage($url){
      $contents = file($url);
      $sum = 0;
   
      $ereg1 = '
?>
这一版本中，自动截取CU下载版块页面，统计空间浪费功能已经实现，但程序运行速度很慢，有待改进。
出现错误：
开始时间：2010-04-02 09:37:19

Notice: Undefined variable: sum in /var/www/html/lk.php on line 94

Fatal error: Maximum execution time of 30 seconds exceeded in /var/www/html/lk.php on line 75


进一步改进：
<?php
    define("CU","http://linux.chinaunix.net/bbs/forum-64-");
    define("CU_F","http://linux.chinaunix.net/bbs/thread-");

 // $url = "http://linux.chinaunix.net/bbs/thread-1128442-1-1.html";

   //判断网页链接是否已经到头[已完成！]
    function isLinkEnd($url1,$url2){
        $page1 = file_get_contents($url1);
        $page2 = file_get_contents($url2);
        $startword = '';
        $endword = '';
        $startpos1 = strpos($page1,$startword);
        $endpos1 = strpos($page1,$endword);
        $startpos2 = strpos($page2,$startword);
        $endpos2 = strpos($page2,$endword);
        $result1 = substr($page1,$startpos1+strlen($startword),$endpos1-$startpos1-strlen($startword));
        $result2 = substr($page2,$startpos2+strlen($startword),$endpos2-$startpos1-strlen($startword));
       
        //返回0说明到头，返回1尚未到头
        return ($result1 == $result2?0:1);
    }

   
  //自动抽取chinaunix.net上含有回复下载的所有链接,保存为数组返回[已完成！]
  function linksOf(){
      $page = 1;
      $thisurl = CU."$page".'.html';

      while( $page             $links1[] = $thisurl;
            $page++;
            $thisurl = CU."$page".'.html';
      }
      return $links1;
    }
   
    //自动检查所有链接的分页页面地址，保存为数组返回[已完成！]
    function linksOfPart($links1){
        foreach($links1 as $linksBefore){
            $contents = file($linksBefore);
            $ereg1 = '                }
            }
        }
        return $linksPerArticle;
    }
   
   //自动检查所有链接地址，保存为数组返回[已完成！]
    function linksOfAll($linksPerArticle){
        foreach($linksPerArticle as $links){
            $i = 1;
            $page_before = CU_F."$links-$i".'-1.html';
            $i++;
            $page_after = CU_F."$links-$i".'-1.html';
           
            while(isLinkEnd($page_before,$page_after)){
                $linksOfAll[] = $page_before;
                $page_before = $page_after;
                $i++;
                $page_after = CU_F."$links-$i".'-1.html';
            }
            $linksOfAll[] = $page_before;
        }
        return $linksOfAll;
    }
   
   //计算打开的每页无效字符字节数[已完成！]
  function countPerPage($url){
      $contents = file($url);
      $sum = 0;
   
      $ereg1 = '

准备再次改进：
直接抓取baidu.com的结果，"site:xxx.com 本帖隐藏的内容需要回复才可以浏览"。
再进行分析，统计数量。
选取的网站有：
1、www.chinaunix.net  -> 1000
2、http://bbs.chemdown.cn  -> 290
3、http://www.kaoyansky.cn  -> 242
4、http://www.pinggu.org  人大经济论坛  -> 932
5、http://www.tianya.cn  天涯社区  -> 1080
6、bbs.duowan.com 多玩游戏论坛 -> 80400 -> 主题: 3516513, 帖子: 79036761, 会员: 8861576 -> 2005-6-29
7、sohu.com 搜狐网 -> 9,490
8、sina.com.cn 新浪网 -> 29100
9、mop.com 猫扑 -> 155

<?php
    define("CU","http://linux.chinaunix.net/bbs/forum-64-");
    define("CU_F","http://linux.chinaunix.net/bbs/thread-");

 // $url = "http://linux.chinaunix.net/bbs/thread-1128442-1-1.html";

   //判断网页链接是否已经到头[已完成！]
    function isLinkEnd($url1,$url2){
        $page1 = file_get_contents($url1);
        $page2 = file_get_contents($url2);
        $startword = '';
        $endword = '';
        $startpos1 = strpos($page1,$startword);
        $endpos1 = strpos($page1,$endword);
        $startpos2 = strpos($page2,$startword);
        $endpos2 = strpos($page2,$endword);
        $result1 = substr($page1,$startpos1+strlen($startword),$endpos1-$startpos1-strlen($startword));
        $result2 = substr($page2,$startpos2+strlen($startword),$endpos2-$startpos1-strlen($startword));
       
        //返回0说明到头，返回1尚未到头
        return ($result1 == $result2?0:1);
    }

   
  //自动抽取chinaunix.net上含有回复下载的所有链接,保存为数组返回[已完成！]
  function linksOf(){
      $page = 1;
      $thisurl = CU."$page".'.html';

      while( $page             $links1[] = $thisurl;
            $page++;
            $thisurl = CU."$page".'.html';
      }
      return $links1;
    }
   
    //自动检查所有链接的分页页面地址，保存为数组返回[已完成！]
    function linksOfPart($links1){
        foreach($links1 as $linksBefore){
            $contents = file($linksBefore);
            $ereg1 = '                }
            }
        }
        return $linksPerArticle;
    }
   
   //自动检查所有链接地址，保存为数组返回[尚未完成！]
    function linksOfAll($linksPerArticle){
        foreach($linksPerArticle as $links){
            $i = 1;
            $page_before = CU_F."$links-$i".'-1.html';
            $i++;
            $page_after = CU_F."$links-$i".'-1.html';
           
            while(isLinkEnd($page_before,$page_after)){
                $linksOfAll[] = $page_before;
                $page_before = $page_after;
                $i++;
                $page_after = CU_F."$links-$i".'-1.html';
            }
            $linksOfAll[] = $page_before;
        }
        return $linksOfAll;
    }
   
   //计算打开的每页无效字符字节数[已完成！]
  function countPerPage($url){
      if(fopen("$url",'r')){
      $contents = file($url);
      $sum = 0;
   
      $ereg1 = '
';
        $endword = '';
        $startpos1 = strpos($page1,$startword);
        $endpos1 = strpos($page1,$endword);
        $startpos2 = strpos($page2,$startword);
        $endpos2 = strpos($page2,$endword);
        $result1 = substr($page1,$startpos1+strlen($startword),$endpos1-$startpos1-strlen($startword));
        $result2 = substr($page2,$startpos2+strlen($startword),$endpos2-$startpos1-strlen($startword));
      
        //返回0说明到头，返回1尚未到头
        return ($result1 == $result2?0:1);
    }

  
  //自动抽取chinaunix.net上含有回复下载的所有链接,保存为数组返回[已完成！]
  function linksOf($thisurl,$pagetotal){
      $page = 1;

      while( $page             $links1[] = $thisurl."$page".'.html';
            $page++;
      }
      return $links1;
    }

    //自动检查所有链接的分页页面地址，保存为数组返回[已完成！]
    function linksOfPart($links1){
       
        foreach($links1 as $linksBefore){
            $flag = 0;
            while(count($contents = file($linksBefore)) == 0){
                    $flag++;
                    if($flag > 3)break;
            }
           
            if($flag > 3)continue;
           
            $ereg1 = '                }
            }
        }
        return $linksPerArticle;
    }

   //自动检查所有链接地址，保存为数组返回[已经完成！]
    function linksOfAll($linksPerArticle){
        $opts = array(
        'http'=>array(
        'method'=>"GET",
        'timeout'=>60,
        )    );
        $context = stream_context_create($opts);
       
        foreach($linksPerArticle as $links){
            $i = 1;
            $page_before = CU_F."$links-$i".'-1.html';
            $i++;
            $page_after = CU_F."$links-$i".'-1.html';
          
            while(isLinkEnd($page_before,$page_after)){
                $linksOfAll[] = $page_before;
                $page_before = $page_after;
                $i++;
                $page_after = CU_F."$links-$i".'-1.html';
            }
            $linksOfAll[] = $page_before;
        }
        return $linksOfAll;
    }

   //计算打开的每页无效字符字节数[已完成！]
  function countPerPage($url){
        $flag = 0;
        while( ( $contents = file($url)) == FALSE ){
            $flag++;echo "flag=$flag
";
            if($flag > 3) return 0;
        }

      $sum = 0;
      $ereg1 = '
阅读(1470) | 评论(0) | 转发(0) |
0

上一篇：foo是个什么东东

下一篇：自动统计知网数据

给主人留下些什么吧！~~
评论热议
请登录后评论。

登录 注册

关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

京ICP证041476号 京ICP证060528号
文章标签：
云数据库 ClickHouse
PHP
JavaScript
Web App开发
关键词：
PHP自动
PHP内容
PHP抽取
五岳之巅
目录
相关文章
贵哥的编程之路(热爱分享)
|
8月前
|
SQL PHP
php论坛留言功能实现(个人版本,提供全部)
php论坛留言功能实现(个人版本,提供全部)
贵哥的编程之路(热爱分享)
73 0
php论坛留言功能实现(个人版本,提供全部)
q+2795003245
|
安全 搜索推荐 Unix
php E58论坛_有哪些比较不错的论坛源代码的网站？
E58资源论坛zy669点cc是有各大资源的程序网站是一个资源靠谱的论坛，主要以分享各种游戏程序为主。特点是资源丰富、内容全面、更新及时。
q+2795003245
174 0
php E58论坛_有哪些比较不错的论坛源代码的网站？
小唐同学.
|
API PHP SEO
PHP实现自动提交百度普通收录/SEO
百度SEO自动推送
小唐同学.
948 0
lambert97
php-获取txt文件内容并转换成数组
php-获取txt文件内容并转换成数组
lambert97
130 0
php-获取txt文件内容并转换成数组
互联网-小阿宇
|
网络协议 应用服务中间件 PHP
swarm（Nginx+php）+haproxy+mysql+Discuz论坛搭建
swarm（Nginx+php）+haproxy+mysql+Discuz论坛搭建
互联网-小阿宇
113 0
swarm（Nginx+php）+haproxy+mysql+Discuz论坛搭建
码农技术君
|
JavaScript 前端开发 Java
JavaScript、PHP、Python、Java内容比较和地址比较
JavaScript、PHP、Python、Java内容比较和地址比较
码农技术君
123 0
JavaScript、PHP、Python、Java内容比较和地址比较
高久峰
|
JSON PHP 数据安全/隐私保护
PHP RSA密文过长加密解密,PHP RSA证书大小自动适配,PHP RSA分段加密
PHP RSA密文过长加密解密,PHP RSA证书大小自动适配,PHP RSA分段加密
高久峰
652 0
高久峰
|
JavaScript PHP
phpQuery,php爬虫类库,像jQuery一样轻松采集内容
phpQuery,php爬虫类库,像jQuery一样轻松采集内容
高久峰
228 0
高久峰
|
PHP
php自动将数字字符串转换为int / float
php自动将数字字符串转换为int / float
高久峰
97 0
贵哥的编程之路(热爱分享)
|
SQL PHP
php论坛留言功能实现(个人版本,提供全部)
php论坛留言功能实现(个人版本,提供全部)
贵哥的编程之路(热爱分享)
108 0
php论坛留言功能实现(个人版本,提供全部)