开发者社区> shy丶gril> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Heritrix1.14.4环境搭建

简介:
+关注继续查看

Heritrix是一个基于Java的开源的具有高扩展性高灵活性的Web爬虫开源项目。

Heritrix的几大亮点如下:

        1.开源,如果你想了解爬虫相关知识,阅读Heritrix源码是不二之选。

        2.抓取性能高,配置灵活

        3.扩展性很好,便于进行二次开发

不过Heritrix让我唯一遗憾的是不支持分布式抓取,不过仍然不能否定Heritrix是一款不错的爬虫开源框架。,值得我们去学习它。

  这里我以Heritrix1.14.4版本为例进行讲解Heritrix环境的搭建。其实Heritrix目前版本已经更新到了3.2.0,但Heritrix1.14.4版本是1.x系列的最后一个封顶版本,是最为经典的一个版本,所以我们还是先从低版本开始学习,然后再研究3.x版本会比较轻松。

   Heritrix下载地址如下:
http://sourceforge.net/projects/archive-crawler/files/?source=navbar



 

 

 
下载完成后,你将会得到两个zip压缩包文件,heritrix-1.14.4-src.zipheritrix-1.14.4.zip。请解压heritrix-1.14.4.zip到任意盘符,这里我直接解压到E盘。解压后得到如图的目录结构:

 
目录结构说明如下:

bin: Heritrix的一些脚本文件

conf:Heritrix的配置文件,用于控制Heritrix的爬取行为

docs:HeritrixAPI文档,HTML格式

lib:Heritrix依赖的jar文件

webapps:Heritrixweb程序,其中admin.warHeritrixweb后台程序

 

heritrix-1.14.4.jarHeritrix的启动执行文件,只要你的.jar后缀文件与java.exe程序关联了,你双击heritrix-1.14.4.jar就会启动HeritrixHeritrix默认自带了Jetty容器。但官方打包的heritrix-1.14.4.jar文件里的MANIFEST.MF文件有点小问题,它没有添加lib依赖,所以我修改了它的MANIFEST.MF清单文件。heritrix-1.14.4.jarMANIFEST.MF清单文件查看方法如图:


 

 

 

 
修改之前MANIFEST.MF文件的内容如下:

Manifest.mf代码  收藏代码
  1. Manifest-Version: 1.0  
  2. Ant-Version: Apache Ant 1.5.3   
  3. Created-By: Apache Maven  
  4. Built-By: stack  
  5. Package: org.archive  
  6. Build-Jdk: 1.6.0_13  
  7. Extension-Name: heritrix  
  8. Specification-Title: An open-source, extensible, web-scale crawler.  
  9. Specification-Vendor: Internet Archive  
  10. Implementation-Title: org.archive  
  11. Implementation-Vendor: Internet Archive  
  12. Implementation-Version: 1.14.4  
  13. Main-Class: org.archive.crawler.Heritrix  

 

 修改之后MANIFEST.MF文件内容如下:

Manifest.mf代码  收藏代码
  1. Manifest-Version: 1.0  
  2. Ant-Version: Apache Ant 1.5.3   
  3. Created-By: Apache Maven  
  4. Built-By: stack  
  5. Package: org.archive  
  6. Build-Jdk: 1.6.0_13  
  7. Extension-Name: heritrix  
  8. Specification-Title: An open-source, extensible, web-scale crawler.  
  9. Specification-Vendor: Internet Archive  
  10. Implementation-Title: org.archive  
  11. Implementation-Vendor: Internet Archive  
  12. Implementation-Version: 1.14.4  
  13. Main-Class: org.archive.crawler.Heritrix  
  14. Class-Path: lib/ant-1.6.2.jar  
  15.   lib/ant-1.6.2.jar  
  16.   lib/bsh-2.0b4.jar  
  17.   lib/commons-cli-1.0.jar  
  18.   lib/commons-codec-1.3.jar  
  19.   lib/commons-collections-3.1.jar  
  20.   lib/commons-httpclient-3.1.jar  
  21.   lib/commons-io-1.3.1.jar  
  22.   lib/commons-lang-2.3.jar  
  23.   lib/commons-logging-1.0.4.jar  
  24.   lib/commons-net-2.0.jar  
  25.   lib/commons-pool-1.3.jar  
  26.   lib/dnsjava-2.0.3.jar  
  27.   lib/fastutil-5.0.3-heritrix-subset-1.0.jar  
  28.   lib/itext-1.2.0.jar  
  29.   lib/jasper-compiler-tomcat-4.1.30.jar  
  30.   lib/jasper-runtime-tomcat-4.1.30.jar  
  31.   lib/javaswf-CVS-SNAPSHOT-1.jar  
  32.   lib/je-3.3.82.jar  
  33.   lib/jericho-html-2.6.jar  
  34.   lib/jets3t-0.5.0.jar  
  35.   lib/jetty-4.2.23.jar  
  36.   lib/joda-time-1.6.jar  
  37.   lib/junit-3.8.2.jar  
  38.   lib/libidn-0.5.9.jar  
  39.   lib/mg4j-1.0.1.jar  
  40.   lib/poi-2.0-RC1-20031102.jar  
  41.   lib/poi-scratchpad-2.0-RC1-20031102.jar  
  42.   lib/servlet-tomcat-4.1.30.jar  

 至于MANIFEST.MF文件如何编写,MANIFEST.MF文件有什么编写规范,请自己Google学习,这里不做过多赘述。

MANIFEST.MF清单文件编写好了之后,我们需要把它覆盖到heritrix-1.14.4.jar下,如图:

 

   然后我们就能dos命令行下切到E:\heritrix-1.14.4路径下,然后java jar heritrix-1.14.4.jar来启动Heritrix,但为了方便(不想每次都敲这些命令),我们可以写个bat批处理文件,如图:

 
然后用文本编辑软件进行编辑,编辑内容如下:

Txt代码  收藏代码
  1. %~d0  
  2. cd %~dp0  
  3. java -Xmx512m -Dheritrix.home=./ -jar heritrix-1.14.4.jar  

 %~d0表示当前bat文件所在目录

 heritrix.home表示heritrix的安装根目录

 

然后我们就可以双击startup.bat文件来启动Heritrix,双击后dos窗口一闪而过,说明Heritrix启动失败了。这是因为我们还需要对Heritrix的配置文件进行一些修改。打开E:\heritrix-1.14.4\conf目录下的heritrix.properties配置进行编辑,如图:

 
然后我们再次启动Heritrix,会看到如图信息:

 
至此,Heritrix1.14.4就环境搭建成功了,打开浏览器,输入http://localhost:6789访问Heritrix的Web后台,你将看到如图的登录界面:

 
登录成功后界面如图:

 
至于如何通过Heritrix Web后台界面创建抓取任务进行数据抓取,留到下一篇来讲解,今天就到这里。

 

 

 益达的GitHub地址请猛戳我,用力,吃点劲儿!!!

  益达的新浪微博:看这里,看这里

  益达的技术交流社区:码农们,I want you!!!

 

   益达Q-Q:                7-3-6-0-3-1-3-0-5

 

 

   益达的Q-Q群:      1-0-5-0-9-8-8-0-6

转载:http://iamyida.iteye.com/blog/2236743

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
java开发环境搭建(jdk安装)
java开发环境搭建(jdk安装)
0 0
uniapp环境搭建以及基础配置详解
安装编辑器 HbuilderX(HbuilderX 是通用的前端开发工具,但为 uni-app 做了特别强化)。 下载 APP 开发板,可开箱即用。 安装微信开发者工具。
0 0
JMeter汉化环境搭建和基本使用
学习JMeter汉化环境搭建和基本使用。
0 0
《手机测试Robotium实战教程》—第2章2.1节JDK安装及其环境变量配置
因为要用到Java语言,所以JDK是首先需要安装的。可以通过下面的链接,选择对应平台的JDK版本进行下载。
1189 0
图解使用VS的安装项目打包程序
背景 这段时间一直在做客户端程序的打包程序,遇到各种坑。因为以前没有任何这方面的经验,历经各种折腾,费尽九牛二虎之力总算是完成了。 虽然没有太多技术含量,但是因为挺繁琐的,所以还是在此记录一下。 由于篇幅原因,先介绍第一阶段:直接使用VS自带的安装项目打包程序。
818 0
tomcat源码编译和环境搭建
关于tomcat源码的编译和环境搭建自己也是拖了一段时间,今天还是硬着头皮来做一做,还是有所收获。 tomcat源码的编译还是首选ant,作为apache的顶级项目ant,可以参见下面的链接进行下载,下载一个二进制运行包即可。
794 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载