没事做，又研究了一下爬虫搜索，两三天时间总算是把原理闹的差不多了，基本实现了爬虫搜索的原理，本次实现还是俩程序，分别是按广度优先和深度优先完成的，广度优先没啥问题，深度优先请慎用，有极大的概率会造成死循环情况，下面深度优先的测试网站就造成了死循环。。。。好吧，我承认是我人品不太好。。。下面有请代码君出场~~~~~~~~~~~~~~~
1.广度优先
- /**
- * 完成广度优先搜索
- */ package import import import import import import import import import importimport /**
- * @author 魏诗尧
- * @version 1.8
- * @emali inwsy@hotmail.com
- */ publicclass
- privatevoid
- null
- null
- null try
- new
- new bytenewbyte1024 int;
- while, )) != -) {
- , len);
- new);
- catch );
- finally try
- ifnull ifnull catch
- privatevoid
- null null null try
- newtrue new);
- newnew
- whilenull
- while );
- if) {
- continue if) == ) {
- continue if)) {
- continue if) != -) {
- continue if) != -) {
- continue if)) {
- continue
- );
- catch );
- finally
- try ifnull ifnull ifnull catch
- privatevoid
- null null try
- new);
- newnew
- new
- whilenull
- );
- catch finally try
- ifnull ifnull catch publicstaticvoidthrows
- new, );
- new }
上面广度优先没啥问题，本人昨天凌晨3点多做的测试，15分钟左右的时间，这只小爬虫爬到了30W+的链接，能力还是蛮强大的么，顺便提一下，白天测试的时候会非常非常的慢，推荐各位测试君在晚上12点以后做测试。。。。。虽然不太人道。。。
下面是深度优先的代码，测试的时候每次都能造成死循环。。。好吧，我承认我没有人品。。。其实基本方法和广度优先没啥区别，我每个页面爬出来的链接只拿第一个去爬下一个页面，总共爬多少层我懒的木有定义，就是想看看最多能爬到哪。。。然后每次都能悲剧的死循环了。。。我明明也设置了跳出的方法了啊，我有判断有效链接的方式，但是我的判断并不完善么，跳出方法我写到了catch中，只要有一个无效链接，就可以跳出来了么。。。今天凌晨全都是死循环。。。。无奈了。。。。下面请代码君上场~~~~~~~~~~
- /**
- * 完成深度优先搜索
- * 爬虫进行深度优先很有可能会出现死循环的情况
- */ package import import import import import import import import import importimport import import /**
- * @author 魏诗尧
- * @version 1.8
- * @emali inwsy@hotmail.com
- */ publicclass
- privatestaticnew
- privatevoid
- null
- null
- null try
- new
- new bytenewbyte1024 int;
- while, )) != -) {
- , len);
- new);
- catch );
- finally try
- ifnull ifnull catch
- privatevoid
- null null try
- new);
- newnew
- whilenull
- while );
- if) {
- continue if) == ) {
- continue if)) {
- continue if) != -) {
- continue if) != -) {
- continue if)) {
- continue
- whilenull new);
- break catch );
- new finally
- try ifnull ifnull catch publicvoid null try
- new, true
- while );
- catch );
- finally try ifnull catch publicstaticvoid new, );
- new }
上面这两篇代码本身是十分不完善的，时间原因，我基本只实现了最基本的原理，能改动增加的地方还有很多，主要是增加，很多地方都可增加代码来增强程序的健壮性。。。比如有效链接判断的地方，我们从href标签中取出来的内容除了我写的几条判断意外还有好多东西都没有处理掉，这个地方还是能增加很多东西的。。。
没有整理与归纳的知识，一文不值！高度概括与梳理的知识，才是自己真正的知识与技能。 永远不要让自己的自由、好奇、充满创造力的想法被现实的框架所束缚，让创造力自由成长吧！ 多花时间，关心他（她）人，正如别人所关心你的。理想的腾飞与实现，没有别人的支持与帮助，是万万不能的。
本文转自wenglabs博客园博客，原文链接：http://www.cnblogs.com/arxive/p/6194372.html
，如需转载请自行联系原作者
