AI 助理
备案控制台
开发者社区 问答 正文

java爬虫的基本架构是什么？

一个好的spider一般都包含哪几个模块？分别有什么作用？

展开
收起
YDYK 2020-04-05 14:48:32 714 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • YDYK

    通常包含四个模块： 1）保存种子URL和待抓取的URL的数据结构。 2）保存已经抓取的URL数据结构，防止重复抓取。 3）页面抓取模块。 4）对已经抓去的页面内容的各个部分进行抽取的模块。

    2020-04-05 14:51:18
    赞同 展开评论
问答分类：
数据采集 Java
问答标签：
Java架构 架构java Java爬虫 爬虫java 架构爬虫
问答地址：
开发者社区 > 大数据 > 问答
相关问答
我想从小白到成为一名 java 架构师，应该怎么走？
66
1
0
以 Spring Cloud 为代表的 Java 生态架构未来会不会被 Go 语言取代呢？
110
1
0
【精品问答】Java微服务架构之Spring Boot核心知识 100问（附源码）
951
1
0
电商网站的商品详情页系统架构【Java问答学堂】61期
306
1
0
Seata中服务端的JAVA应用要基于arm架构编译代码吗？
771
1
0
java语言的三种技术架构有哪些？
1179
1
0
Java三层架构都有那些？
1169
1
0
Java Spring Data for Redis的架构是什么？
1112
1
0
请问在java中不同的架构是如何影响java应用系统的性能的，主要体现在哪些方面呢？
342
0
0
内核技术中 数据库/JAVA等高性能场景中的内存优化 的技术方案是什么？
684
1
0