开发者社区> 问答> 正文

爬虫的基本原理是什么呢?

爬虫的基本原理是什么呢?

展开
收起
出笼的鸟 2022-07-25 14:18:38 395 0
1 条回答
写回答
取消 提交回答
  • 什么是爬虫?

    请求网站并提取数据的 自动化程序

    爬虫基本流程

    发起请求今获取响应内容→ 解析内容→保存数据

    Request

    两种方式GET、POST 请求URL 请求头 请求

    Response

    响应状态 响应头 响应体

    解析方式

    直接字符串处理→正则表达式 有格式数据,例如Json等数据解析

    DOM:Ixml,BeautifulSoup、xpath 其它:javascript、ajax等

    2022-07-25 14:53:39
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
典型模型-卷积神经网络入门 从概念原理到应用实现 立即下载
低代码开发师(初级)实战教程 立即下载