Python爬虫环境常用库安装

简介: Python爬虫环境常用库安装 1:urllib urllib.request 这两个库是python自带的库,不需要重新安装,在python中输入如下代码: import urllib import urllib.

Python爬虫环境常用库安装

1:urllib urllib.request

这两个库是python自带的库,不需要重新安装,在python中输入如下代码:

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)

  
  
  • 1
  • 2
  • 3
  • 4

返回结果为HTTPResponse的对象: 
<http.client.HTTPResponse object at 0x000001929C7525F8>

2:正则表达式模块

import re

  
  
  • 1

该库为python自带的库,直接运行不报错,证明该库正确安装。

3:request库的安装

安装命令:pip install requests 
验证该库是否安装成功,运行如下代码:

import requests
response=requests.get("http://www.baidu.com")
print(response)

  
  
  • 1
  • 2
  • 3

4:selenium库的安装

这里写图片描述 
由于如果需要使用selenium的话,需要为本机配置对应浏览器的驱动,下面以chomedriver为例,首先安装chromedriver,chromedriver与支持对应的chrome版本如下:

chromedriver版本 支持的Chrome版本 
v2.33 v60-62 
v2.32 v59-61 
v2.31 v58-60 
v2.30 v58-60 
v2.29 v56-58 
v2.28 v55-57 
v2.27 v54-56 
v2.26 v53-55 
v2.25 v53-55 
v2.24 v52-54 
v2.23 v51-53 
v2.22 v49-52 
v2.21 v46-50 
v2.20 v43-48 
v2.19 v43-47 
v2.18 v43-46 
v2.17 v42-43 
v2.13 v42-45 
v2.15 v40-43 
v2.14 v39-42 
v2.13 v38-41 
v2.12 v36-40 
v2.11 v36-40 
v2.10 v33-36 
v2.9 v31-34 
v2.8 v30-33 
v2.7 v30-33 
v2.6 v29-32 
v2.5 v29-32 
v2.4 v29-32 
如何查看本机的chrome的版本,具体方法如下: 
这里写图片描述
chromedriver的下载地址如下: 
http://chromedriver.storage.googleapis.com/index.html 
chromedriver解压后放到Python或者其他配置了环境变量的目录下。 
测试代码及运行结果如下: 
这里写图片描述
安装plantomjs 
下载地址为:http://phantomjs.org/download.html 
下载完成后,解压文件夹,将文件夹中phantomjs.exe的拷贝到Python或者其他配置了环境变量的目录下,或单独为其配置环境变量,测试代码及运行结果如下: 
这里写图片描述

5: 安装LXML

这里写图片描述

6:安装beautifulsoup

这里写图片描述

7:安装pyquery

这里写图片描述

8:安装pymysql

这里写图片描述

9:安装pymongo

这里写图片描述

10:安装redis

这里写图片描述

11:安装flask

这里写图片描述

12:安装django

这里写图片描述

原文地址https://blog.csdn.net/qq_29186489/article/details/78581249

相关文章
|
2月前
|
IDE 开发工具 索引
在Python中安装第三方库
在Python中安装第三方库
709 30
|
1月前
|
数据采集 存储 XML
Python爬虫:深入探索1688关键词接口获取之道
在数字化经济中,数据尤其在电商领域的价值日益凸显。1688作为中国领先的B2B平台,其关键词接口对商家至关重要。本文介绍如何通过Python爬虫技术,合法合规地获取1688关键词接口,助力商家洞察市场趋势,优化营销策略。
|
2月前
|
数据采集 Web App开发 监控
高效爬取B站评论:Python爬虫的最佳实践
高效爬取B站评论:Python爬虫的最佳实践
|
2月前
|
数据采集 缓存 定位技术
网络延迟对Python爬虫速度的影响分析
网络延迟对Python爬虫速度的影响分析
|
17天前
|
Linux Python
Linux 安装python3.7.6
本教程介绍在Linux系统上安装Python 3.7.6的步骤。首先使用`yum`安装依赖环境,包括zlib、openssl等开发库。接着通过`wget`下载Python 3.7.6源码包并解压。创建目标文件夹`/usr/local/python3`后,进入解压目录执行配置、编译和安装命令。最后设置软链接,使`python3`和`pip3`命令生效。
|
3天前
|
人工智能 编译器 Python
python已经安装有其他用途如何用hbuilerx配置环境-附带实例demo-python开发入门之hbuilderx编译器如何配置python环境—hbuilderx配置python环境优雅草央千澈
python已经安装有其他用途如何用hbuilerx配置环境-附带实例demo-python开发入门之hbuilderx编译器如何配置python环境—hbuilderx配置python环境优雅草央千澈
python已经安装有其他用途如何用hbuilerx配置环境-附带实例demo-python开发入门之hbuilderx编译器如何配置python环境—hbuilderx配置python环境优雅草央千澈
|
10天前
|
数据采集 存储 缓存
如何使用缓存技术提升Python爬虫效率
如何使用缓存技术提升Python爬虫效率
|
11天前
|
数据采集 Web App开发 监控
Python爬虫:爱奇艺榜单数据的实时监控
Python爬虫:爱奇艺榜单数据的实时监控
|
20天前
|
数据采集 JSON API
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
|
25天前
|
数据采集 存储 API
利用Python爬虫获取1688关键词接口全攻略
本文介绍如何使用Python爬虫技术合法合规地获取1688关键词接口数据,包括环境准备、注册1688开发者账号、获取Access Token、构建请求URL、发送API请求、解析HTML及数据处理存储等步骤,强调遵守法律法规和合理使用爬虫技术的重要性。