开发者社区> 优惠码发放> 正文

Python爬虫环境常用库安装

简介: Python爬虫环境常用库安装 1:urllib urllib.request 这两个库是python自带的库,不需要重新安装,在python中输入如下代码: import urllib import urllib.
+关注继续查看

Python爬虫环境常用库安装

1:urllib urllib.request
这两个库是python自带的库,不需要重新安装,在python中输入如下代码:

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)
1
2
3
4
返回结果为HTTPResponse的对象: 
<http.client.HTTPResponse object at 0x000001929C7525F8>

2:正则表达式模块
import re
1
该库为python自带的库,直接运行不报错,证明该库正确安装。

3:request库的安装
安装命令:pip install requests 
验证该库是否安装成功,运行如下代码:

import requests
response=requests.get("http://www.baidu.com")
print(response)
1
2
3
4:selenium库的安装
 
由于如果需要使用selenium的话,需要为本机配置对应浏览器的驱动,下面以chomedriver为例,首先安装chromedriver,chromedriver与支持对应的chrome版本如下:

chromedriver版本 支持的Chrome版本 
v2.33 v60-62 
v2.32 v59-61 
v2.31 v58-60 
v2.30 v58-60 
v2.29 v56-58 
v2.28 v55-57 
v2.27 v54-56 
v2.26 v53-55 
v2.25 v53-55 
v2.24 v52-54 
v2.23 v51-53 
v2.22 v49-52 
v2.21 v46-50 
v2.20 v43-48 
v2.19 v43-47 
v2.18 v43-46 
v2.17 v42-43 
v2.13 v42-45 
v2.15 v40-43 
v2.14 v39-42 
v2.13 v38-41 
v2.12 v36-40 
v2.11 v36-40 
v2.10 v33-36 
v2.9 v31-34 
v2.8 v30-33 
v2.7 v30-33 
v2.6 v29-32 
v2.5 v29-32 
v2.4 v29-32 
如何查看本机的chrome的版本,具体方法如下: 

chromedriver的下载地址如下: 
http://chromedriver.storage.googleapis.com/index.html 
chromedriver解压后放到Python或者其他配置了环境变量的目录下。 
测试代码及运行结果如下: 

安装plantomjs 
下载地址为:http://phantomjs.org/download.html 
下载完成后,解压文件夹,将文件夹中phantomjs.exe的拷贝到Python或者其他配置了环境变量的目录下,或单独为其配置环境变量,测试代码及运行结果如下: 


5: 安装LXML


6:安装beautifulsoup


7:安装pyquery


8:安装pymysql


9:安装pymongo


10:安装redis


11:安装flask


12:安装django

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
pipx在隔离环境中安装并且运行Python应用
pipx在隔离环境中安装并且运行Python应用
8 0
Anaconda环境与Python的配置方法
本文介绍在Win10电脑中,安装Anaconda环境与Python语言的方法~
100 0
新手入门指南之玩转蓝桥云课(线上运行虚拟机,c++,Java,Javaweb,python环境,以及如何成功利用命令行运行这些环境)(2)
新手入门指南之玩转蓝桥云课(线上运行虚拟机,c++,Java,Javaweb,python环境,以及如何成功利用命令行运行这些环境)(2)
325 0
新手入门指南之玩转蓝桥云课(线上运行虚拟机,c++,Java,Javaweb,python环境,以及如何成功利用命令行运行这些环境)(1)
新手入门指南之玩转蓝桥云课(线上运行虚拟机,c++,Java,Javaweb,python环境,以及如何成功利用命令行运行这些环境)(1)
218 0
基于远程服务器安装配置Anaconda环境及创建python虚拟环境详细方案(二)
基于远程服务器安装配置Anaconda环境及创建python虚拟环境详细方案
43 0
基于远程服务器安装配置Anaconda环境及创建python虚拟环境详细方案(一)
基于远程服务器安装配置Anaconda环境及创建python虚拟环境详细方案
159 0
服务器 Linux环境上查看Python site-package 包所在位置
服务器 Linux环境上查看Python site-package 包所在位置
34 0
【paddlepaddle2.0-CPU安装】win10、python环境、pip 安装
【paddlepaddle2.0-CPU安装】win10、python环境、pip 安装
65 0
+关注
优惠码发放
阿里云优惠码阿里云推荐券bieryun.com
文章
问答
视频
文章排行榜
最热
最新
相关电子书
更多
给运维工程师的Python实战课
立即下载
Python 脚本速查手册
立即下载
ACE 区域技术发展峰会:Flink Python Table API入门及实践
立即下载