爬虫Larbin解析(一)——Larbin配置与使用

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介:

介绍

功能:网络爬虫

开发语言:c++

开发者:Sébastien Ailleret(法国)

特点:只抓取网页,高效(一个简单的larbin的爬虫可以每天获取500万的网页)

 

安装

安装平台:Ubuntu 12.10

下载:http://sourceforge.net/projects/larbin/files/larbin/2.6.3/larbin-2.6.3.tar.gz/download

安装:

tar -zxvf  larbin-2.6.3.tar.gz
cd larbin-2.6.3
./configure
make

期间会出现错误,解决

1. adns文件夹下internal.h文件569-571行:

adns_status adns__parse_domain(adns_state ads, int serv, adns_queryqu,
         vbuf *vb, parsedomain_flags flags,
         const byte *dgram, int dglen, int *cbyte_io, int max);

改为

adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,
         vbuf *vb, adns_queryflags flags,
         const byte *dgram, int dglen, int *cbyte_io, int max);

 

2. 输入sudo ./congure 出现错误

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/utils'
makedepend -f- -I.. -Y *.cc 2> /dev/null > .depend
make[2]: *** [dep-in] 错误 127
make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/utils'
make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/interf'
<span style= "color: #ff0000;" ><strong>makedepend</strong></span> -f- -I.. -Y *.cc 2> /dev/null > .depend
make[2]: *** [dep-in] 错误 127
make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/interf'
make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/fetch'
makedepend -f- -I.. -Y *.cc 2> /dev/null > .depend
make[2]: *** [dep-in] 错误 127
make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/fetch'
make[1]: *** [dep] 错误 2
make[1]:正在离开目录 `/home/byd/test/larbin-2.6.3/src'
make: *** [dep] 错误 2

上边提示makedepend 有问题,于是输入makedepend,提示

makedepend 没安装,但是可以通过

sudo apt-get install xutils-dev

ok了。

 

3. 到/usr/include/c++/下CP一份iostream文件到larbin的src目录下。并将其名改为iostream.h,在文件中添加一句

using namespace std;

然后,继续

make

 

运行

 ./larbin

可以在浏览器上输入"localhost:8081"看当前爬虫的运行状况

终止

 ctrl+c

 重启

./larbin -scratch

 

 再次启动larbin时出现错误(只输入命令 ./larbin)

larbin_2.6.3 is starting its search
Unable to get the socket for the webserver (8081) : Address already in use

原因

当客户端保持着与服务器端的连接,这时服务器端断开,再开启服务器时会出现: Address already in use

解决

netstat -anp | more

可以看到(如下图),杀死进程即可

kill -9 18066

 

其中

  • 在Internet RFC标准中,Netstat的定义是: Netstat是在内核中访问网络及相关信息的程序,它能提供TCP连接,TCP和UDP监听,进程内存管理的相关报告
  • kill - 9 表示强制杀死该进程(最好少用,他是强制性的,即使是系统进程也会杀掉的

 

配置

1、larbin.conf文件

复制代码
###############################################
//客户端标记,当对其他网站抓取时,被抓取的网站知道是什么抓取的

UserAgent larbin_2.6.3

############################################
# What are the inputs and ouputs of larbin
# port on which is launched the http statistic webserver
# if unset or set to 0, no webserver is launched

//用于运行的http web服务器的端口号(larbin运行时访问http://localhost:8081/,设置为http_port 8081).如果将端口设为0,则不会启动web服务器。通过这个可以查看爬行结果

httpPort 8081

# port on which you can submit urls to fetch
# no input is possible if you comment this line or use port 0

//你要爬取url的端口。如果注释掉或设为0,则可能没有任何输入。如果通过手动或者程序提交爬取的//urls,则必须练就到计算机的TCP端口1976,即设为:inputPort 1976,可以添加爬行的url。

#inputPort 1976

############################################
# parameters to adapt depending on your network
# Number of connexions in parallel (to adapt depending of your network speed)
//并行爬取网页的数量,根据自己环境的网速调解,如果超时太多,则要降低这个并行数量

pagesConnexions 100

# Number of dns calls in parallel
//并行DNS域名解析的数量。

dnsConnexions 5

# How deep do you want to go in a site
//对一个站点的爬取的深度

depthInSite 5

# do you want to follow external links
//不允许访问外部链接。如果设置则只可访问同一主机的连接
#noExternalLinks

# time between 2 calls on the same server (in sec) : NEVER less than 30
//访问同一服务器的时间间隔。不可低于30s,建议60s
waitDuration 60

# Make requests through a proxy (use with care)
//是否用代理连接,如果用,则要设置、可以不用尽量不要用,这个选项要谨慎
#proxy www 8080

##############################################
# now, let's customize the search

# first page to fetch (you can specify several urls)
//开始爬取的URL
startUrl http://slashdot.org/

# Do you want to limit your search to a specific domain ?
# if yes, uncomment the following line
//这个选项设置了,则不可以爬行指定的特殊域名
#limitToDomain .fr .dk .uk end

# What are the extensions you surely don't want
# never forbid .html, .htm and so on : larbin needs them
//不想要的扩展名文件。一定不要禁止.html、.htm.larbin爬取的就是它们。禁止也是无效的
forbiddenExtensions
.tar .gz .tgz .zip .Z .rpm .deb
.ps .dvi .pdf
.png .jpg .jpeg .bmp .smi .tiff .gif
.mov .avi .mpeg .mpg .mp3 .qt .wav .ram .rm
.jar .java .class .diff
.doc .xls .ppt .mdb .rtf .exe .pps .so .psd
end
复制代码

 

2、options.h

2.1 输出模式

复制代码
// Select the output module you want to use

//默认模式。什么也不输出,不要选择这个
#define DEFAULT_OUTPUT // do nothing...

//简单保存,存在save/dxxxxx/fyyyyy文件中,每个目录下2000个文件 //#define SIMPLE_SAVE // save in files named save/dxxxxxx/fyyyyyy
//镜像方式存储。按网页的层次存储,可以作为网页的字典。 //#define MIRROR_SAVE // save in files (respect sites hierarchy)
//状态输出。在网页上进行状态输出,可以查看http://localhost:8081/output.html查看结果 //#define STATS_OUTPUT // do some stats on pages
复制代码
这些模式被定制在src/type.h中,可以在src/interf/useroutput.cc中定制自己的输出模式。 这个文件中还有很多相关配置,更改后,需要重新编译。
 
2.2 特定查询
复制代码
// Set up a specific search
//设置特定的查询
//#define SPECIFICSEARCH
//内容类型
//#define contentTypes ((char *[]) { "audio/mpeg", NULL })
//文件扩展。用于查询速度,不涉及类型,类型由上一个决定
//#define privilegedExts ((char *[]) { ".mp3", NULL })
复制代码

 

2.3 设置完要设置特定文件的管理

复制代码
#define DEFAULT_SPECIFIC //默认管理方式。 作为html有限制除了被解析。

//存储特定文件。 允许将文件存储在硬盘上 文件可以很大在src/types.h 可以具体设置。
#define SAVE_SPECIFIC 

//动态存储模式。对于较大的文件动态的分配buffer。
#define DYNAMIC_SPECIFIC 
复制代码

可以通过"src/fetch/specbuf.cc" and "src/fetch/specbuf.h" 定义特定文件的管理方式。

 

2.4 你要爬虫做什么

复制代码
//不继续子链接。不设置此项则html页不被解析链接也不会爬子链接。通过输入系统添加url时很有用
#define FOLLOW_LINKS

//每个网页中包含的子链接的列表。在"useroutput.cc" 用page->getLinks() 访问此信息。
#define LINKS_INFO 

//url标签。设置此项url有一个int(默认为0)。使用输入系统统时应该给定一个int。可以通过其获取u//rl。可以重定向。
#define URL_TAGS

//不允许重复。如果设置则遇到相同网页但已遇到过时则不管。
#define NO_DUP

//结束退出。没有url可爬取时是否退出。设置则退出。
#define EXIT_AT_END 

//抓取网页中的图片。设置了此项则要更新larbin.conf中禁止项。
#define IMAGES

//抓取任何类型网页不管其的类型。设置要更新larbin.conf。
#define ANYTYPE

//要larbin管理cookies。只简单实现但很有用。
#define COOKIES
复制代码

 

2.5 其他选项说明

复制代码
#define CGILEVEL 1           //定于选项及其参数。用于对爬行的url的限制。

#define MAXBANDWIDTH 200000  //larbin使用的带宽大小。不设置则不限带宽。

#define DEPTHBYSITE          //当url链接到其他站点时新rul的深度是已被初始化的。
复制代码

 

2.6 效率和特征

复制代码
//是否为输入制定一个专用线程。当你在useroutput.cc定义自己的代码时必须设置此项。
#define THREAD_OUTPUT

//重启位置记录表。设置此项时可以从上次终止处继续爬取。使用-scratch 选项从上次结束处重启。
#define RELOAD
复制代码

 

2.7 Larbin怎么工作

复制代码
#define NOWEBSERVER       //不启动服务器。不运行线程时很有用

#define GRAPH             //是否在状态也使用柱状图。

#define NDEBUG            //不启动调试信息。

#define NOSTATS           //不启动状态输出。

#define STATS             //启动状态输出。运行时每个一段时间就会输出抓取的状态。
 
#define BIGSTATS          //在标准输出上显示每个被抓去的网页名字。会降低larbin速度

#define CRASH             //用于报告严重的bugs用。以gmake debug模式编译时使用。
复制代码

 

参考

Larbin配置与使用

Larbin的安装与配置 





本文转自jihite博客园博客,原文链接:http://www.cnblogs.com/kaituorensheng/p/3676851.html,如需转载请自行联系原作者


相关文章
|
3天前
|
域名解析 网络协议 Ubuntu
DHCP与DNS的配置
通过这些步骤,您可以在Linux环境下成功配置和验证DHCP和DNS服务。希望这些内容对您的学习和工作有所帮助。
55 27
|
9天前
|
数据采集 Web App开发 监控
深度解析:使用ChromeDriver和webdriver_manager实现无头浏览器爬虫
在现代网络爬虫实践中,动态网页加载和反爬虫机制增加了数据采集的难度。采用无头浏览器技术(如Selenium与ChromeDriver)可有效模拟用户行为、执行JavaScript,获取动态内容。通过设置代理IP、伪装User-Agent和处理Cookies,提升爬虫隐蔽性和稳定性。该方案适用于电商价格监控、社交媒体数据采集和招聘信息抓取等场景,实现更高效的数据获取。
深度解析:使用ChromeDriver和webdriver_manager实现无头浏览器爬虫
|
8天前
|
存储 人工智能 并行计算
2025年阿里云弹性裸金属服务器架构解析与资源配置方案
🚀 核心特性与技术创新:提供100%物理机性能输出,支持NVIDIA A100/V100 GPU直通,无虚拟化层损耗。网络与存储优化,400万PPS吞吐量,ESSD云盘IOPS达100万,RDMA延迟<5μs。全球部署覆盖华北、华东、华南及海外节点,支持跨地域负载均衡。典型应用场景包括AI训练、科学计算等,支持分布式训练和并行计算框架。弹性裸金属服务器+OSS存储+高速网络综合部署,满足高性能计算需求。
|
9天前
|
数据采集 前端开发 API
SurfGen爬虫:解析HTML与提取关键数据
SurfGen爬虫:解析HTML与提取关键数据
|
1月前
|
数据采集 供应链 API
Python爬虫与1688图片搜索API接口:深度解析与显著收益
在电子商务领域,数据是驱动业务决策的核心。阿里巴巴旗下的1688平台作为全球领先的B2B市场,提供了丰富的API接口,特别是图片搜索API(`item_search_img`),允许开发者通过上传图片搜索相似商品。本文介绍如何结合Python爬虫技术高效利用该接口,提升搜索效率和用户体验,助力企业实现自动化商品搜索、库存管理优化、竞品监控与定价策略调整等,显著提高运营效率和市场竞争力。
92 3
|
2月前
|
数据采集 JSON API
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
|
2月前
|
数据采集 存储 JavaScript
网页爬虫技术全解析:从基础到实战
在信息爆炸的时代,网页爬虫作为数据采集的重要工具,已成为数据科学家、研究人员和开发者不可或缺的技术。本文全面解析网页爬虫的基础概念、工作原理、技术栈与工具,以及实战案例,探讨其合法性与道德问题,分享爬虫设计与实现的详细步骤,介绍优化与维护的方法,应对反爬虫机制、动态内容加载等挑战,旨在帮助读者深入理解并合理运用网页爬虫技术。
|
2月前
|
数据采集
动态代理与静态代理在爬虫解析的优缺点
随着科技和互联网的发展,越来越多企业需要使用代理进行数据抓取。本文介绍了HTTP动态代理与静态代理的区别,帮助您根据具体需求选择最佳方案。动态代理适合大规模、高效率的爬取任务,但稳定性较差;静态代理则适用于小规模、高稳定性和速度要求的场景。选择时需考虑目标、数据量及网站策略。
67 4
|
3月前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
194 6
|
6月前
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
306 4

推荐镜像

更多