开发者社区> 问答> 正文

python爬虫用什么库

python爬虫用什么库

展开
收起
云计算小粉 2018-05-10 20:10:47 2078 0
2 条回答
写回答
取消 提交回答
  • urllib是Python自带的标准库,无需安装,直接可以用。 提供了如下功能: 网页请求 响应获取 代理和cookie设置 异常处理 URL解析 爬虫所需要的功能,基本上在urllib中都能找到
    2019-07-17 22:22:31
    赞同 展开评论 打赏
  • 爬虫-Python爬虫常用库
    一、常用库

    1、requests 做请求的时候用到。

    requests.get("url")

    2、selenium 自动化会用到。

    3、lxml

    4、beautifulsoup

    5、pyquery 网页解析库 说是比beautiful 好用,语法和jquery非常像。

    6、pymysql 存储库。操作mysql数据的。

    7、pymongo 操作MongoDB 数据库。

    8、redis 非关系型数据库。

    9、jupyter 在线记事本。

    2019-07-17 22:22:31
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载