通用爬虫：搜索引擎用的爬虫系统
目标：尽可能的互联网上所有的网页下载下来，放到本地形成备份，
再对这些网页进行相关处理(提取关键字，去除广告)，最后提供一个
用户可用的接口。
抓取流程：
1.首先取一部分已有的URL，把这些URL放到待爬取队列。
2.从队列里取出这些URL,然后通过DNS得到主机IP,然后去这个IP服务器
里下载HTML信息,然后把这些信息放到本地服务器,之后把这个爬过的URL
放入已爬取队列中.
3.分析这些网页内容,找出网页中其它URL连接,继续执行第二步,直到没有
其它URL连接.
搜索引擎是如何获取一个新网站的URL的:
1.主动向搜索引擎提交网址
2.在其它网站设置网站的外链
3.搜索引擎会和DNS服务商进行合作,可以快速收录新的网址
通用爬虫并不是万物皆可爬的,它也需要遵守规则:
Robots协议: https://www.taobao.com/robots.txt(可以查看协议内容 )
一般只有大型的搜索引擎才会遵守产.
通用爬虫工作流程:
抓取网页--存储数据--内容处理--提供检索--排名服务
搜索排名:
1.PageRank值:根据网站流量,网站流量越高,排名越靠前.
2.竞价排名:给钱多的排名靠前.
通用爬虫的缺点:
只能提供和文本相关的内容,不提供多媒体文件爬取.
提供的结果千篇一律(正在改进中.....)
目标：尽可能的互联网上所有的网页下载下来，放到本地形成备份，
再对这些网页进行相关处理(提取关键字，去除广告)，最后提供一个
用户可用的接口。
抓取流程：
1.首先取一部分已有的URL，把这些URL放到待爬取队列。
2.从队列里取出这些URL,然后通过DNS得到主机IP,然后去这个IP服务器
里下载HTML信息,然后把这些信息放到本地服务器,之后把这个爬过的URL
放入已爬取队列中.
3.分析这些网页内容,找出网页中其它URL连接,继续执行第二步,直到没有
其它URL连接.
搜索引擎是如何获取一个新网站的URL的:
1.主动向搜索引擎提交网址
2.在其它网站设置网站的外链
3.搜索引擎会和DNS服务商进行合作,可以快速收录新的网址
通用爬虫并不是万物皆可爬的,它也需要遵守规则:
Robots协议: https://www.taobao.com/robots.txt(可以查看协议内容 )
一般只有大型的搜索引擎才会遵守产.
通用爬虫工作流程:
抓取网页--存储数据--内容处理--提供检索--排名服务
搜索排名:
1.PageRank值:根据网站流量,网站流量越高,排名越靠前.
2.竞价排名:给钱多的排名靠前.
通用爬虫的缺点:
只能提供和文本相关的内容,不提供多媒体文件爬取.
提供的结果千篇一律(正在改进中.....)
为了解决这个问题,聚焦爬虫出现了.
本文转自 技术花妞妞 51CTO博客，原文链接:http://blog.51cto.com/xiaogongju/2061742
