Python:爬虫框架 Scrapy 安装

简介: 安装 Scrapy 还是比较简单的,我这里只说在 Windows 上的的安装

安装 Scrapy 框架

安装 Scrapy 还是比较简单的,我这里只说在 Windows 上的的安装。

1. 确认 Python 版本

首先确认自己的 Python 的版本:

在这里插入图片描述

我是 Python3.7 64 位的。

2. 下载库文件

然后在 Python 第三方库网址上分别下载对应版本的 Scrapy、Lxml、Twisted 的 whl 包,然后利用 pip 来安装:

在这里插入图片描述

打开命令行,进入下载的 whl 所在目录,用 pip install [whl],其中 [whl] 为你刚刚下载的文件的名字。

3. 安装 pywin32

这个网址下载对应的 pywin32,默认安装完就好了。

安装完后打开命令行,输入 scrapy shell 没有报错并出现:
在这里插入图片描述
就安装完成了。

目录
相关文章
|
10天前
|
数据采集 Python
【python】爬虫-西安医学院-校长信箱
本文以西安医学院-校长信箱为基础来展示爬虫案例。来介绍python爬虫。
【python】爬虫-西安医学院-校长信箱
|
29天前
|
数据采集 Python
爬虫实战-Python爬取百度当天热搜内容
爬虫实战-Python爬取百度当天热搜内容
65 0
|
16天前
|
数据采集 安全 Python
python并发编程:Python实现生产者消费者爬虫
python并发编程:Python实现生产者消费者爬虫
23 0
python并发编程:Python实现生产者消费者爬虫
|
28天前
|
数据采集 数据挖掘 调度
异步爬虫实践攻略:利用Python Aiohttp框架实现高效数据抓取
本文介绍了如何使用Python的Aiohttp框架构建异步爬虫,以提升数据抓取效率。异步爬虫利用异步IO和协程技术,在等待响应时执行其他任务,提高效率。Aiohttp是一个高效的异步HTTP客户端/服务器框架,适合构建此类爬虫。文中还展示了如何通过代理访问HTTPS网页的示例代码,并以爬取微信公众号文章为例,说明了实际应用中的步骤。
|
7天前
|
Ubuntu Python
python3安装clickhouse_sqlalchemy(greenlet) 失败
如果上述方法仍然无法解决问题,建议查阅相关错误信息和官方文档,以获取更详细的帮助。确保你的Python环境和依赖库都在最新版本,有时问题可能会因为版本不兼容而导致安装失败。
13 0
|
10天前
|
数据采集 存储 前端开发
Python爬虫如何快速入门
写了几篇网络爬虫的博文后,有网友留言问Python爬虫如何入门?今天就来了解一下什么是爬虫,如何快速的上手Python爬虫。
17 0
|
11天前
|
数据采集 机器学习/深度学习 人工智能
Python环境搭建—安装Python3解释器
Python环境搭建—安装Python3解释器
31 2
|
12天前
|
Linux API 开发者
python2安装wxpython模块源
【4月更文挑战第4天】
33 11
|
24天前
|
数据采集 存储 Web App开发
一键实现数据采集和存储:Python爬虫、Pandas和Excel的应用技巧
一键实现数据采集和存储:Python爬虫、Pandas和Excel的应用技巧
|
26天前
|
数据采集 前端开发 JavaScript
Python爬虫零基础到爬啥都行
Python爬虫项目实战全程实录,你想要什么数据能随意的爬,不管抓多少数据几分钟就能爬到你的硬盘,需要会基本的前端技术(HTML、CSS、JAVASCRIPT)和LINUX、MYSQL、REDIS基础。
20 1
Python爬虫零基础到爬啥都行

热门文章

最新文章