悠然乱弹:WebMagic VS TinySpider-阿里云开发者社区

开发者社区> 开发与运维> 正文

悠然乱弹:WebMagic VS TinySpider

简介:

两者都是可以用于网页数据抓取,都有良好的扩展性及架构设计,但是由于定位稍有差异,因此在开发的时候各有侧重点,今天就写一篇专门的文章进行比较,由于对WebMagic学习得还不够,因此有些地方可能是错误地,欢迎指正或板砖伺候。

一、扫描方法的差异

a.WebMagic的扫描

1
2
3
4
5
WebMagic采用的是遍地撒网、愿者上勾的方式,怎么解释这个遍地撒网呢?
在进行内容抓取的时候,与事先定义好的处理器中的匹配规则进行匹配,匹配成功则处理之。
把所有的超链接找到并添加到待处理列表中,然后对新找到的链接继续进行处理。
 
所以WebMagic会把所有的页面都扫描一次,在扫描的过程中进行匹配,匹配上的进行处理。
b.TinySpider的扫描
1
2
3
4
TinySpider采用的则是抽丝剥茧,精确打击的策略。什么个意思呢?
在进行内容抓取的时候,首先有个入口页面,然后在上面定义了许多Watcher,实际上就是关注点了,只有它关注的点匹配的,才会执行其后续的动作触发,也就是扫描哪些页面或者后续扫描的走向是由程序员完全把控的。
 
所以TinySpider在扫描的时候,不一定会扫描所有的页面,只扫描自己关心的内容。当然,TinySpider也通过遍地撒网模式进行内容抓取。

c.二者比较

1
2
3
4
5
WebMagic的编程模型更简单,TinySpider的编程则要复杂一些。
WebMagic的匹配准确度稍粗一点,TinySpider的匹配精准度更强一些。
不同的页面之间,WebMagic是没有关系的,因此不同的页面之间如果数据有关系,WebMagic处理起来比较麻烦,而TinySpider不同层次之间是可以方便的进行数据传递的,这方面有一定优势。
 
或者简单的说,WebMagic不同页面之间是列表方式进行扫描的,而TinySpider是递归方式树状扫描的。

二、数据获取方面的差异

WebMagic定义了数据抽取规则,如果数据比较规范,数据的抽取是非常简单的,只要定义好属性,再定义注解就可以了。 
TinySpider没有提供这种类型的功能,需要开发人员自己抽取数据,带来的好处就是自由度就更大。当然,TinySpider已经根据Watcher上定义的过滤规则把处理的数据都已经收集起来,只是自己处理即可。

三、数据存储方面的差异

WebMagic考虑了抽取到数据之后的存储问题,并做了良好支持。。 
TinySpider则把这个全部留给程序员,反正数据已经都提取到了,你自己想怎么处理自己决定吧。 

四、比较器方面的差异

WebMagic主要通过注解加天XPath的方式进行内容抽取,因此对于比较规范的内容抓取是非常方便的。 
TinySpider则内建了一个强大的匹配器,支持节点指定属性名及指定属性值过滤(可以指定多组)、指定属性名过滤(不管是什么值都可以,可以指定多个)、可以指定排除属性及属性值(即不能包含的属性名及值,可以包含多组)、不能包含的属性(可以包含多组)、包含文本内容(可以指定多组)、不能包含的文件内容(可以指定多组),可以指定包含的节点名(可以指定多组)、可以指定不能包含的节点(可以指定多组)、可以指定必须在某个节点下(可以指定多组)、可以指定不能在某个节点下(可以指定多组)、可以指定至少包含某几个节点中的一个,可以指定至下包含某几个属性中的一个,可以根据节点名进行搜索。 不仅可以用来抓取内容,可以可以结合上下文准确的抓取内容。
这方面简洁性方面WebMagic占优,精准性方面TinySpider更强一点。

五、分布式抓取的支持

WebMagic内建支持分布式抓取,具体实现是在不同的机器上开取线程,然后共享一个抓取队列的方式来抓取。
TinySpider里面本身没有分布式抓取支持,但是开发者可以与Tiny框架中的分布式计算框架结合使用来完成分布式数据的抓取。

六、用途比较

WebMagic更适合对于正则、XPath比较熟悉的程序员来抓取 数据比较规范,且页面间没有什么逻辑关系的Html内容。 

TinySpider则适合于只有Java编程基础的程序员来处理页面比较复杂,页面之间有顺序关系的各种规范不规范的Html页面。

七、容错性比较

WebMagic中的HtmlPaser不知道用的什么??这个方面不明确

TinySpider中使用的HtmlParser是本人呕心沥血编写的一个HtmlParser,有相当好的容错性,在一定程度会可以修复错误,最坏的情况下,也会给出一个可用的Dom结构,只是结果不能保证完全正确(本来就是错的,不能正确修复也可以理解)。

八、扩展性比较

由于两个框架的问题领域是一致的,虽然设计方案不同,但是都有比较好的扩展性,通过扩展都可以覆盖对方的优势领域,也就是虽然现在不支持,但是扩展扩展就可以支持。

这个方面,二平。

总结

通过上面的比较,确实来说,作为网络内容抓取方面,WebMagic和TinySpider都是不错的方案,在扩展性方面都设计比较到位,在编程便捷性及内容抓取准确性方面都有比较好的侧重与妥协。

如果想对网页抓取方面进行学习或实践,两个方案都是值得接触的。


版权声明:本文首发在云栖社区,遵循云栖社区版权声明:本文内容由互联网用户自发贡献,版权归用户作者所有,云栖社区不为本文内容承担相关法律责任。云栖社区已升级为阿里云开发者社区。如果您发现本文中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,阿里云开发者社区将协助删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章