先安装svn
yum install svn
通过svn 构建构建源代码结构
svn co https://svn.apache.org/repos/asf/nutch/tags/release-1.6/
下载好后进入文件夹目录进行编译
在这里 需要安装 ant 所以在下载的同时 可以再开一个窗口去下载ant
++++++++++++++++++++++++++ 注意 +++++++++++++++++++++++++++++++++++++++
因为 直接yum安装会安装openjdk
而我使用的是oracle jdk
所以我的选择是通过apache ant主页去下载ant
在 /etc/profile 里面设置
ANT_HOME
以及 添加 ANT_HOME/bin 路径到PATH当中去
并且 需要你设置添加 JAVA_HOME环境变量
看自己需要咯吧
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
直接解压就能用 添加环境变量后就能用
cd release-1.6
ant
会自动解决依赖包并且编译文件
cd runtime/local
这里面会有单机模式运行nutch 所需要的东西
mkdir urls
vi urls/url.txt 并输入 你需要爬的那个网站 网址
nohup bin/nutch crawl urls -dir data -depth 3 -threads 100 &
使用nohup去后台运行程序 在当前目录会生成一个 nohup.out 运行记录文件
可以使用 tail -f nohup.out 去实时查看运行情况
这时后会发现出错 http.agent.name 缺少这个配置
然后我们使用firefox 中的 firebug 中的网络 去查看我们的 User-Agent
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0
我的是这个 然后看回来
在 release-1.6 目录中的 conf/conf/nutch-default.xml 去查找 http.agent.name 值 然后 复制这块 写到 conf/nutch-site.xml 中 在value 中添加 我们刚在firefox当中查看的自己user-agent值
回到 release-1.6
ant
再进入 runtime/local
nohup bin/nutch crawl urls -dir data -depth 3 -threads 100 &
因为 之前我们出错过一次 当时声成了一个文件夹 里面是没有数据的
只是后面读取数据的时候会出现问题
然后 我们只需要 把报错的文件夹删除即可
nohup bin/nutch crawl urls -dir data -depth 3 -threads 100 &
基本安装和测试就是这样
跟到视频学习的 大家喜欢可以自己看的
连接： http://yangshangchuan.iteye.com/blog/1837935
欢迎交流
本文转自 拖鞋崽 51CTO博客，原文链接:http://blog.51cto.com/1992mrwang/1210182
