Python爬虫环境常用库安装

简介: Python爬虫环境常用库安装 1:urllib urllib.request 这两个库是python自带的库,不需要重新安装,在python中输入如下代码: import urllib import urllib.

Python爬虫环境常用库安装

1:urllib urllib.request

这两个库是python自带的库,不需要重新安装,在python中输入如下代码:

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)
  • 1
  • 2
  • 3
  • 4

返回结果为HTTPResponse的对象: 
<http.client.HTTPResponse object at 0x000001929C7525F8>

2:正则表达式模块

import re
  • 1

该库为python自带的库,直接运行不报错,证明该库正确安装。

3:request库的安装

安装命令:pip install requests 
验证该库是否安装成功,运行如下代码:

import requests
response=requests.get("http://www.baidu.com")
print(response)
  • 1
  • 2
  • 3

4:selenium库的安装

这里写图片描述 
由于如果需要使用selenium的话,需要为本机配置对应浏览器的驱动,下面以chomedriver为例,首先安装chromedriver,chromedriver与支持对应的chrome版本如下:

chromedriver版本 支持的Chrome版本 
v2.33 v60-62 
v2.32 v59-61 
v2.31 v58-60 
v2.30 v58-60 
v2.29 v56-58 
v2.28 v55-57 
v2.27 v54-56 
v2.26 v53-55 
v2.25 v53-55 
v2.24 v52-54 
v2.23 v51-53 
v2.22 v49-52 
v2.21 v46-50 
v2.20 v43-48 
v2.19 v43-47 
v2.18 v43-46 
v2.17 v42-43 
v2.13 v42-45 
v2.15 v40-43 
v2.14 v39-42 
v2.13 v38-41 
v2.12 v36-40 
v2.11 v36-40 
v2.10 v33-36 
v2.9 v31-34 
v2.8 v30-33 
v2.7 v30-33 
v2.6 v29-32 
v2.5 v29-32 
v2.4 v29-32 
如何查看本机的chrome的版本,具体方法如下: 
这里写图片描述
chromedriver的下载地址如下: 
http://chromedriver.storage.googleapis.com/index.html 
chromedriver解压后放到Python或者其他配置了环境变量的目录下。 
测试代码及运行结果如下: 
这里写图片描述
安装plantomjs 
下载地址为:http://phantomjs.org/download.html 
下载完成后,解压文件夹,将文件夹中phantomjs.exe的拷贝到Python或者其他配置了环境变量的目录下,或单独为其配置环境变量,测试代码及运行结果如下: 
这里写图片描述

5: 安装LXML

这里写图片描述

6:安装beautifulsoup

这里写图片描述

7:安装pyquery

这里写图片描述

8:安装pymysql

这里写图片描述

9:安装pymongo

这里写图片描述

10:安装redis

这里写图片描述

11:安装flask

这里写图片描述

12:安装django

这里写图片描述

原文地址https://blog.csdn.net/qq_29186489/article/details/78581249

相关文章
|
17天前
|
数据采集 Python
【python】爬虫-西安医学院-校长信箱
本文以西安医学院-校长信箱为基础来展示爬虫案例。来介绍python爬虫。
【python】爬虫-西安医学院-校长信箱
|
1月前
|
数据采集 Python
爬虫实战-Python爬取百度当天热搜内容
爬虫实战-Python爬取百度当天热搜内容
70 0
|
23天前
|
数据采集 安全 Python
python并发编程:Python实现生产者消费者爬虫
python并发编程:Python实现生产者消费者爬虫
24 0
python并发编程:Python实现生产者消费者爬虫
|
28天前
|
Java Python 开发者
Python 学习之路 01基础入门---【Python安装,Python程序基本组成】
线程池详解与异步任务编排使用案例-xian-cheng-chi-xiang-jie-yu-yi-bu-ren-wu-bian-pai-shi-yong-an-li
77 2
Python 学习之路 01基础入门---【Python安装,Python程序基本组成】
|
1月前
|
数据采集 数据挖掘 调度
异步爬虫实践攻略:利用Python Aiohttp框架实现高效数据抓取
本文介绍了如何使用Python的Aiohttp框架构建异步爬虫,以提升数据抓取效率。异步爬虫利用异步IO和协程技术,在等待响应时执行其他任务,提高效率。Aiohttp是一个高效的异步HTTP客户端/服务器框架,适合构建此类爬虫。文中还展示了如何通过代理访问HTTPS网页的示例代码,并以爬取微信公众号文章为例,说明了实际应用中的步骤。
|
1天前
安装OpenCV-Python
安装OpenCV-Python
7 1
|
2天前
|
5G Python
Windows11搭建Python环境(Anaconda安装与使用)
Windows11搭建Python环境(Anaconda安装与使用)
13 0
|
3天前
|
数据采集 存储 JSON
Python爬虫面试:requests、BeautifulSoup与Scrapy详解
【4月更文挑战第19天】本文聚焦于Python爬虫面试中的核心库——requests、BeautifulSoup和Scrapy。讲解了它们的常见问题、易错点及应对策略。对于requests,强调了异常处理、代理设置和请求重试;BeautifulSoup部分提到选择器使用、动态内容处理和解析效率优化;而Scrapy则关注项目架构、数据存储和分布式爬虫。通过实例代码,帮助读者深化理解并提升面试表现。
13 0
|
6天前
|
数据采集 JavaScript 前端开发
使用Python打造爬虫程序之破茧而出:Python爬虫遭遇反爬虫机制及应对策略
【4月更文挑战第19天】本文探讨了Python爬虫应对反爬虫机制的策略。常见的反爬虫机制包括User-Agent检测、IP限制、动态加载内容、验证码验证和Cookie跟踪。应对策略包括设置合理User-Agent、使用代理IP、处理动态加载内容、验证码识别及维护Cookie。此外,还提到高级策略如降低请求频率、模拟人类行为、分布式爬虫和学习网站规则。开发者需不断学习新策略,同时遵守规则和法律法规,确保爬虫的稳定性和合法性。
|
14天前
|
Ubuntu Python
python3安装clickhouse_sqlalchemy(greenlet) 失败
如果上述方法仍然无法解决问题,建议查阅相关错误信息和官方文档,以获取更详细的帮助。确保你的Python环境和依赖库都在最新版本,有时问题可能会因为版本不兼容而导致安装失败。
18 0

热门文章

最新文章