开发者社区> 问答> 正文

python爬虫一般流程是分为几步,分别是什么呢?

python爬虫一般流程是分为几步,分别是什么呢?

展开
收起
游客5gwrmn6pzajfm 2021-11-05 22:00:28 1241 0
1 条回答
写回答
取消 提交回答
  • 1.初始一批URL,将这些URL放到待爬取队列 2.从队列中取出这些URL,通过DNS解析IP,到对应IP站点下载HYML页面保存在本地服务器中,爬取完的URL放到已爬取队列 3.分析这些网页内容,找到网页里面的其他关系的URl链接,继续执行第2步,直到爬取条件结束

    2021-11-05 22:04:51
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载