开发者社区> zting科技> 正文

抓取某一个网站整站的记录

简介:
+关注继续查看

 经常由于某些原因我们需要爬取某一个网站或者直接复制某一个站点,到网上找了很多工具进行测试,试了很多各有各的问题,最终选择了Teleport Ultra,用起来效果很好;具体的操作手册等东西就不在这里说了,网上搜索一下有很多,这里主要说遇到的问题:

软件下载地址:http://download.csdn.net/detail/ityouknow/9506423

工具截图:

image

测试抓取的网站为简单心理:www.jiandanxinli.com

抓取后的效果图

image

 

一般我会选择复制100级基本上也就把网站的东西全部copy下来了,但是因为Teleport Ultra 是以UTF-8的编码进行的抓取如果文件中有中文字符,或者gbk编码的文件就会出现乱码如下图:

image

 

当然手动在浏览器选择UTF-8也可以,但是咱不能每次打开都这样干吧。于是到网站找到一款软件叫:TelePort乱码修复工具(siteRepair-v2.0),经过测试可以解决乱码的问题,这款工具也会清除一些无效的链接和html符号等。

软件下载地址:http://download.csdn.net/detail/ityouknow/9506429

软件截图:

image

 

绝大数网站再经过这两个步骤应该都已经OK了,但是有的网站的层级结构中用到了中文目录或者中文的文件名就会出现乱码,类似下面的URL地址:

http://www.xxxx.com/.com/question/除了加锁,还有什么方法解决资源竞争的问题?/解决方案.html

这样网站的结构抓取下来就会出现两种乱码:1)文件夹名乱码 2)文件名乱码

遇到这个问题siteRepair-v2.0工具就会报错,我估计是不能识别乱码的文件夹或者文件吧。

 

后来在网上找了一个PHP的程序,进行了简单的修改测试可以解决这个问题

PHP代码:convert.php

复制代码
<?php
function listDir($dir)
{
    if(is_dir($dir))
    {
        if ($dh = opendir($dir)) 
        {
            while (($file = readdir($dh)) !== false)
            {
                if((is_dir($dir."/".$file)) && $file!="." && $file!="..")
                {
                    rename($dir."/".$file,$dir."/".mb_convert_encoding($file,"GBK", "UTF-8"));
                    listDir($dir."/".$file."/");
                }
                else
                {
                    if($file!="." && $file!="..")
                    {
                         $name=rename($dir."/".$file,$dir."/".str_replace('\\','',mb_convert_encoding($file,"GBK", "UTF-8")));
                         echo '路径:'.$dir."/".$file.'<br />';
                         echo '结果: '.str_replace('\\','',mb_convert_encoding($file,"GBK", "UTF-8")).'<br />';
                    }
                }
            }
            closedir($dh);
        }
    }
}
?>
<?php
//开始运行
listDir("./convert");

?>
复制代码

 

在代码的同级目录下,新建 convert文件夹,把乱码的文件放入这个目录,然后执行convert.php即可。


作者:纯洁的微笑 
出处:www.ityouknow.com 
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。 

本文如对您有帮助,还请多帮 【推荐】 下此文。 
如果喜欢我的文章,请关注我的公众号

分类: 其它
标签: 爬虫

本文转自纯洁的微笑博客博客园博客,原文链接:http://www.cnblogs.com/ityouknow/p/5446199.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
爬虫识别-关键页面访问量-实现代码及效果|学习笔记
快速学习爬虫识别-关键页面访问量-实现代码及效果。
19 0
百度蜘蛛ip段大全分析爬虫式
百度蜘蛛ip段大全分析爬虫式:https://www.20200824.com
153 0
网站快照收录被劫持跳转怎么办
作为站长,因为我们做网站经常会遇到各种各类的一些困难,比如说黑客入侵,还有就是程序出错, bug和漏洞就会导致网站意想不到的损失。我做网站差不多将近5年了,这两天遇到一个事情我非常难受,我问了好多同行,别人也说不知道,大概意思就是说我们以前如果网站被入侵的话,一般都会劫持你的网站收录和跳转,他一般会搜索关键词,然后点击你的网站,然后跳转到其他的网站页面,还有很明显的就是说你的百度快照标题跟描述都被篡改了,因为它要劫持你的流量,然后导致你的核心关键词,然后排名全部掉没,所以说给网站造成很大的伤害。
79 0
一种基于浏览记录的反反爬虫方法
最近写专利时看到了一种基于浏览记录的反爬虫方法,该方法基于 "在前端页面中以埋点或者提取页面日志的方式,获取用户的前端浏览记录,计算用户行为指标并进行人机验证" 。
157 0
移动网站内容和电脑端内容不一样会影响网站排名吗?
移动优先与桌面内容:它是否需要相同? 欢迎来到排名第一SEO!以下是今天的问题:我们应该为移动和桌面设置相同的内容还是不同的内容? 相同。下一个问题? 好吧,开玩笑,这可能是一个简单的回应。让我详细说明一下。
789 0
如何处理新站不收录的情况
最近懒猫遇到很多seoer都这样说,我刚做的网站怎么已经过了一个月都没收录,而且就连首页都没有收录。其实这是我们很多站长经常遇到的问题,那这是什么原因导致的呢?我们又该怎么处理呢?接下来懒猫就详细述说下这其中的道理。
770 0
网页长时间没收录,是否应该被删除?
在SEO日常工作中,我们每天都会审查网站的收录情况,有的时候你会发现,某些页面在一个特别长周期内,都没有得到有效的收录。   这个时候,就有SEO人员提出:我们是否可以删除这些,长期不收录的页面。   那么,网页长时间没收录,是否应该被删除?   根据百度不收录多种因素的统计分析,蝙蝠侠IT将通过如下内容与大家讨论:   1、收录与索引   对于百度而言,在网页实际建库索引的过程中,我们知道百度索引量与收录,还是有一定区别的:没有被百度收录的页面,并不代表没有被索引。
1141 0
WordPress纯PHP代码实现记录搜索引擎蜘蛛爬行记录
在新站或网站收录有问题时,可能需要持续关注搜索引擎蜘蛛的抓取情况。每次打开服务器端访问日志查看非常麻烦,特别是当日志文件比较大时更是不便。最好的办法就是在线直接打开看蜘蛛爬行记录。为此,我们可以免插件使用纯PHP代码来实现这个功能,以下是具体实现代码。
1852 0
+关注
zting科技
文章
问答
视频
文章排行榜
最热
最新
相关电子书
更多
SEO学习步骤
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
相关实验场景
更多