开发者社区> 华章计算机> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

《精通Python网络爬虫:核心技术、框架与项目实战》——1.6 小结

简介:
+关注继续查看

本节书摘来自华章出版社《精通Python网络爬虫:核心技术、框架与项目实战》一书中的第1章,第1.6节,作者 韦 玮,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.6 小结

1)网络爬虫也叫作网络蜘蛛、网络蚂蚁、网络机器人等,可以自动地浏览网络中的信息,当然浏览信息的时候需要按照我们制定的规则去浏览,这些规则我们将其称为网络爬虫算法。使用Python可以很方便地编写出爬虫程序,进行互联网信息的自动化检索。

2)学习爬虫,可以:①私人订制一个搜索引擎,并且可以对搜索引擎的数据采集工作原理,进行更深层次地理解;②为大数据分析提供更多高质量的数据源;③更好地研究搜索引擎优化;④解决就业或跳槽的问题。

3)网络爬虫由控制节点、爬虫节点、资源库构成。

4)网络爬虫按照实现的技术和结构可以分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫等类型。在实际的网络爬虫中,通常是这几类爬虫的组合体。

5)聚焦网络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块、内容评价模块、链接评价模块等构成。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
拯救Python新手的几个项目实战
Python 做小游戏 实例一:24点游戏 项目名称:经典趣味24点游戏程序设计(python) 如果你不想错过Python这么好的工具,又担心自学遇到问题无处解决,现在就可以Python的学习q u n 227-435-450可以来了解一起进步一起学习!免费分享视频资料 实例二:五子棋游戏 项目...
3439 0
Python --- GUI编程(1)
Python --- GUI编程(1)
25 0
Python编程 赋值运算符
本章将会讲解如何使用Python运算符中的赋值运算符。
31 0
Python编程运算符 逻辑运算符
本章将会讲解如何使用Python运算符中的逻辑运算符。
22 0
python编程 input输入函数
本章将会讲解输入与输出中的 input()输入函数
15 0
Python编程 print输出函数
本章将会讲解Python编程中的 print()输出函数
9 0
Python编程运算符 ——算数运算符
本章将会讲解如何使用Python运算符中的算数运算符。
18 0
Python编程运算符 比较运算符
本章将会讲解如何使用Python运算符中的比较运算符。
17 0
Python编程 语句与缩进
本章将会讲解Python中的语句与缩进,了解Python编程中语句是什么和他的作用 以及为什么要缩进。
21 0
Python编程 变量与常量
本章将会讲解在Python编程中的变量与常量,了解变量与常量的定义,和他们之间的区别,以及如何创建变量
22 0
文章
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
Python 系列直播——深入Python与日志服务,玩转大规模数据分析处理实战第二讲
立即下载
ACE 区域技术发展峰会:Flink Python Table API入门及实践
立即下载
微博基于Flink的机器学习实践
立即下载