Python爬虫环境常用库安装

简介: Python爬虫环境常用库安装 1:urllib urllib.request 这两个库是python自带的库,不需要重新安装,在python中输入如下代码: import urllib import urllib.

Python爬虫环境常用库安装

1:urllib urllib.request

这两个库是python自带的库,不需要重新安装,在python中输入如下代码:

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)

  
  
  • 1
  • 2
  • 3
  • 4

返回结果为HTTPResponse的对象: 
<http.client.HTTPResponse object at 0x000001929C7525F8>

2:正则表达式模块

import re

  
  
  • 1

该库为python自带的库,直接运行不报错,证明该库正确安装。

3:request库的安装

安装命令:pip install requests 
验证该库是否安装成功,运行如下代码:

import requests
response=requests.get("http://www.baidu.com")
print(response)

  
  
  • 1
  • 2
  • 3

4:selenium库的安装

这里写图片描述 
由于如果需要使用selenium的话,需要为本机配置对应浏览器的驱动,下面以chomedriver为例,首先安装chromedriver,chromedriver与支持对应的chrome版本如下:

chromedriver版本 支持的Chrome版本 
v2.33 v60-62 
v2.32 v59-61 
v2.31 v58-60 
v2.30 v58-60 
v2.29 v56-58 
v2.28 v55-57 
v2.27 v54-56 
v2.26 v53-55 
v2.25 v53-55 
v2.24 v52-54 
v2.23 v51-53 
v2.22 v49-52 
v2.21 v46-50 
v2.20 v43-48 
v2.19 v43-47 
v2.18 v43-46 
v2.17 v42-43 
v2.13 v42-45 
v2.15 v40-43 
v2.14 v39-42 
v2.13 v38-41 
v2.12 v36-40 
v2.11 v36-40 
v2.10 v33-36 
v2.9 v31-34 
v2.8 v30-33 
v2.7 v30-33 
v2.6 v29-32 
v2.5 v29-32 
v2.4 v29-32 
如何查看本机的chrome的版本,具体方法如下: 
这里写图片描述
chromedriver的下载地址如下: 
http://chromedriver.storage.googleapis.com/index.html 
chromedriver解压后放到Python或者其他配置了环境变量的目录下。 
测试代码及运行结果如下: 
这里写图片描述
安装plantomjs 
下载地址为:http://phantomjs.org/download.html 
下载完成后,解压文件夹,将文件夹中phantomjs.exe的拷贝到Python或者其他配置了环境变量的目录下,或单独为其配置环境变量,测试代码及运行结果如下: 
这里写图片描述

5: 安装LXML

这里写图片描述

6:安装beautifulsoup

这里写图片描述

7:安装pyquery

这里写图片描述

8:安装pymysql

这里写图片描述

9:安装pymongo

这里写图片描述

10:安装redis

这里写图片描述

11:安装flask

这里写图片描述

12:安装django

这里写图片描述

原文地址https://blog.csdn.net/qq_29186489/article/details/78581249

相关文章
|
1天前
|
数据采集 存储 数据挖掘
深入剖析 Python 爬虫:淘宝商品详情数据抓取
深入剖析 Python 爬虫:淘宝商品详情数据抓取
|
2天前
|
JSON Shell 数据格式
使用 pipx 安装并执行 Python 应用程序 (1)
使用 pipx 安装并执行 Python 应用程序 (1)
40 17
|
4天前
|
存储 数据采集 数据库
Python爬虫实战:股票分时数据抓取与存储
Python爬虫实战:股票分时数据抓取与存储
|
22天前
|
IDE 测试技术 项目管理
【新手必看】PyCharm2025 免费下载安装配置教程+Python环境搭建、图文并茂全副武装学起来才嗖嗖的快,绝对最详细!
PyCharm是由JetBrains开发的Python集成开发环境(IDE),专为Python开发者设计,支持Web开发、调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试和版本控制等功能。它有专业版、教育版和社区版三个版本,其中社区版免费且适合个人和小型团队使用,包含基本的Python开发功能。安装PyCharm前需先安装Python解释器,并配置环境变量。通过简单的步骤即可在PyCharm中创建并运行Python项目,如输出“Hello World”。
196 13
【新手必看】PyCharm2025 免费下载安装配置教程+Python环境搭建、图文并茂全副武装学起来才嗖嗖的快,绝对最详细!
|
29天前
|
人工智能 Java Python
python安装、vscode安装、conda安装:一文搞定Python的开发环境(史上最全)
尼恩架构团队推出了一系列《LLM大模型学习圣经》PDF,旨在帮助读者深入理解并掌握大型语言模型(LLM)及其相关技术。该系列包括Python基础、Transformer架构、LangChain框架、RAG架构及LLM智能体等内容,覆盖从理论到实践的各个方面。此外,尼恩还提供了配套视频教程,计划于2025年5月前发布,助力更多人成为大模型应用架构师,冲击年薪百万目标。
|
30天前
|
数据采集 JSON 数据格式
Python爬虫:京东商品评论内容
京东商品评论接口为商家和消费者提供了重要工具。商家可分析评论优化产品,消费者则依赖评论做出购买决策。该接口通过HTTP请求获取评论内容、时间、点赞数等数据,支持分页和筛选好评、中评、差评。Python示例代码展示了如何调用接口并处理返回的JSON数据。应用场景包括产品优化、消费者决策辅助、市场竞争分析及舆情监测。
|
1月前
|
Shell Linux iOS开发
使用 pipx 安装并执行 Python 应用程序 (1)
使用 pipx 安装并执行 Python 应用程序 (1)
52 0
使用 pipx 安装并执行 Python 应用程序 (1)
|
1月前
|
数据采集 供应链 API
Python爬虫与1688图片搜索API接口:深度解析与显著收益
在电子商务领域,数据是驱动业务决策的核心。阿里巴巴旗下的1688平台作为全球领先的B2B市场,提供了丰富的API接口,特别是图片搜索API(`item_search_img`),允许开发者通过上传图片搜索相似商品。本文介绍如何结合Python爬虫技术高效利用该接口,提升搜索效率和用户体验,助力企业实现自动化商品搜索、库存管理优化、竞品监控与定价策略调整等,显著提高运营效率和市场竞争力。
85 3
|
1月前
|
人工智能 编译器 Python
python已经安装有其他用途如何用hbuilerx配置环境-附带实例demo-python开发入门之hbuilderx编译器如何配置python环境—hbuilderx配置python环境优雅草央千澈
python已经安装有其他用途如何用hbuilerx配置环境-附带实例demo-python开发入门之hbuilderx编译器如何配置python环境—hbuilderx配置python环境优雅草央千澈
41 0
python已经安装有其他用途如何用hbuilerx配置环境-附带实例demo-python开发入门之hbuilderx编译器如何配置python环境—hbuilderx配置python环境优雅草央千澈
|
2月前
|
数据采集 存储 缓存
如何使用缓存技术提升Python爬虫效率
如何使用缓存技术提升Python爬虫效率

热门文章

最新文章

推荐镜像

更多