2014-11-11 1726
世界上已经成型的爬虫软件多达上百种,本文对较为知名及常见的开源爬虫软件进行梳理,按开发语言进行汇总,如下表所示。虽然搜索引擎也有爬虫,但本次我汇总的只是爬虫软件,而非大型、复杂的搜索引擎,因为很多兄弟只是想爬取数据,而非运营一个搜索引擎。
开源爬虫汇总表
开发语言
软件名称
软件介绍
许可证
Java
Arachnid
微型爬虫框架,含有一个小型HTML解析器
GPL
crawlzilla
安装简易,拥有中文分词功能
Apache2
Ex-Crawler
由守护进程执行,使用数据库存储网页信息
GPLv3
Heritrix
严格遵照robots文件的排除指示和META robots标签
LGPL
heyDr
轻量级开源多线程垂直检索爬虫框架
ItSucks
提供swing GUI操作界面
不详
jcrawl
轻量、性能优良,可以从网页抓取各种类型的文件
Apache
JSpider
功能强大,容易扩展
Leopdo
包括全文和分类垂直搜索,以及分词系统
MetaSeeker
网页抓取、信息提取、数据抽取工具包,操作简单
Playfish
通过XML配置文件实现高度可定制性与可扩展性
MIT
Spiderman
灵活、扩展性强,微内核+插件式架构,通过简单的配置就可以完成数据抓取,无需编写一句代码
webmagic
功能覆盖整个爬虫生命周期,使用Xpath和正则表达式进行链接和内容的提取
Web-Harvest
运用XSLT、XQuery、正则表达式等技术来实现对Text或XML的操作,具有可视化的界面
BSD
WebSPHINX
由两部分组成:爬虫工作平台和WebSPHINX类包
YaCy
基于P2P的分布式Web搜索引擎
Python
QuickRecon
具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能
PyRailgun
简洁、轻量、高效的网页抓取框架
Scrapy
基于Twisted的异步处理框架,文档齐全
C++
hispider
支持多机分布式下载, 支持网站定向下载
larbin
高性能的爬虫软件,只负责抓取不负责解析
Methabot
经过速度优化、可抓取WEB、FTP及本地文件系统
Methanol
模块化、可定制的网页爬虫,速度快
C#
NWebCrawler
统计信息、执行过程可视化
GPLv2
Sinawler
国内第一个针对微博数据的爬虫程序,功能强大
spidernet
以递归树为模型的多线程web爬虫程序,支持以GBK (gb2312)和utf8编码的资源,使用sqlite存储数据
Web Crawler
多线程,支持抓取PDF/DOC/EXCEL等文档来源
网络矿工
功能丰富,毫不逊色于商业软件
PHP
OpenWebSpider
开源多线程网络爬虫,有许多有趣的功能
PhpDig
适用于专业化强、层次更深的个性化搜索引擎
Snoopy
具有采集网页内容、提交表单功能
ThinkUp
采集推特、脸谱等社交网络数据的社会媒体视角引擎,可进行交互分析并将结果以可视化形式展现
微购
可采集淘宝、京东、当当等300多家电子商务数据
ErLang
Ebot
可伸缩的分布式网页爬虫
Ruby
Spidr
可将一个或多个网站、某个链接完全抓取到本地
五岳之巅原创,转载请注明出处。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。