开发者社区> 问答> 正文

爬虫的工作流程是什么?

爬虫的工作流程是什么?

展开
收起
游客qzzytmszf3zhq 2021-12-08 22:30:32 493 0
1 条回答
写回答
取消 提交回答
  • (1)抓取网页:通过搜索引擎将待爬取的url加入到通用爬虫的url队列中,进行网页内容的爬取

    (2)数据存储:将爬取下来的网页保存到本地,这个过程会有一定的去重操作,如果某个网页的内 容大部分内容都会重复,搜索引擎可能不会保存。

    (3)预处理:提取文字,中文分词,消除噪音(比如版权声明文字,导航条,广告等)。

    (4)设置网站排名,为用户提供服务。

    2021-12-08 22:30:43
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
前端自动化测试 立即下载
函数计算最佳实践:快速开发一个分布式 Puppeteer 网页截图服务 立即下载