Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程

简介: 这几天,很多朋友在群里问Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下Scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。Scrapy是Python网络爬虫的一个框架,十分好用,深得大家的青睐,其工作原理,在在此就不赘述了。

这几天,很多朋友在群里问Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下Scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。

Scrapy是Python网络爬虫的一个框架,十分好用,深得大家的青睐,其工作原理,在在此就不赘述了。



1、正常我们在Python库的时候,只需要利用cmd命令打开命令行窗口,然后输入pip install 库,就可以正常安装了,但是在安装Scrapy的时候,输入pip install scrapy之后往往会碰到下图的问题。



2、这个问题的出现,是因为我们缺乏libxml2安装包。现在只要我们安装这个包之后,就可以顺利安装scrapy了。给大家安利一个福利,介绍给大家一个非常实用的Python包网站,这个网站很神奇,里边的Python包专门用于Windows下的安装的,如下图所示。



3、之后在该网站上查找lxml,也可以输入Ctrl+f进行查找,找到之后如下图所示。



4、点击“lxml”,找到lxml安装包,如下图所示。找到对应自己Python版本的lxml安装包,小编的电脑是64位的,而且Python版本是Python3.4,所以找到下图红色框框的安装包,点击即可进行下载。同理,其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。



5、然后去下载的目录,将lxml进行安装即可,输入安装命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl即可。



6、lxml-4.2.1-cp34-cp34m-win_amd64.whl环境安装完成之后,再重新输入pip install scrapy即可顺利安装了,不会再报错了,如下图所示。



7、输入pip list可以查看已经安装的scrapy包,如下图所示。



8、之后我们就可以正常使用scrapy了,可以创建scrapy项目等等。



9、还有一些小伙伴遇到的问题是这个:

raise distutils.errors.DistutilsPlatformError(err)

distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)

----------------------------------------

Command "python setup.py egg_info" failed with error code 1



这个是因为本机缺乏visual C++的安装环境,此时只需要进入landinghub.visualstudio.com这个网站,下载对应电脑版本的visual C++环境,进行安装之后即可解决问题。



这个安装包比较大,等scrapy安装好之后再删除即可。

10、还有的小伙伴可能会遇到下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”,表示该平台不支持这个安装包,如下图所示。



之前的lxml安装包不是直接安装就成功了吗?为何这个安装包会出现这个问题呢?此时,首先需要检查该安装包的Python版本和电脑位数是否和本机都对应上,如果确认没有问题,再继续往下看。

在这里小编给大家介绍一个小技巧,专门用来应对这样的问题的。进入到所下载的安装包,这里以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包为例,进入到下载目录下,一般下载之后将其放到虚拟环境的site-packages文件夹下面,尔后将后缀.whl更改为.zip,将后缀.whl更改为.zip,将后缀.whl更改为.zip,重要的事情说三遍,有木有觉得很熟悉?对,它就是个压缩文件,现在将压缩包里边的内容全部解压到当前文件夹,如下图所示。



之后在虚拟环境下输入pip list命令查看安装包,可以看到Twisted安装包已经在里边了,如下图所示。第一个pip list命令的时候尚未解压Twisted安装包,此时并没有Twisted库;第二个pip list命令是在Twisted安装包解压之后执行的,可以看到Twisted库已经在里边了。



Twisted库安装好之后,再安装其他的库,如Scrapy、Pandas等就如鱼得水了。

这里列出了几个Scrapy安装过程中常见的问题及其解决方法,希望对大家日后安装Scrapy的时候有所帮助,可能每个人的平台和环境都不太一样,肯定会碰到其他的安装问题,欢迎大家一起学习交流~~

相关文章
|
3月前
|
XML C# 数据格式
掌握了在Windows平台上查看DLL依赖的方法
掌握了在Windows平台上查看DLL依赖的方法
444 4
|
3月前
|
存储 弹性计算 运维
阿里云国际Windows操作系统迁移教程
阿里云国际Windows操作系统迁移教程
|
10天前
|
存储 Cloud Native Java
Windows下Minio的安装以及基本使用
MinIO 是一个开源的云原生分布式对象存储系统,兼容亚马逊S3接口,适合存储大容量非结构化数据。本文介绍Windows下MinIO的安装与基本使用:通过以上步骤,您可以在Windows环境中成功安装并使用MinIO。
72 17
|
27天前
|
关系型数据库 MySQL 数据库
【MySQL基础篇】MySQL概述、Windows下载MySQL8.0超详细图文安装教程
在这一章节,主要介绍两个部分,数据库相关概念及MySQL数据库的介绍、下载、安装、启动及连接。接着,详细描述了MySQL 8.0的版本选择与下载,推荐使用社区版(免费)。安装过程包括自定义安装路径、配置环境变量、启动和停止服务、以及客户端连接测试。此外,还提供了在同一台电脑上安装多个MySQL版本的方法及卸载步骤。最后,解释了关系型数据库(RDBMS)的特点,即基于二维表存储数据,使用SQL语言进行操作,格式统一且便于维护。通过具体的结构图展示了MySQL的数据模型,说明了数据库服务器、数据库、表和记录之间的层次关系。
【MySQL基础篇】MySQL概述、Windows下载MySQL8.0超详细图文安装教程
|
23天前
|
安全 关系型数据库 MySQL
Windows Server 安装 MySQL 8.0 详细指南
安装 MySQL 需要谨慎,特别注意安全配置和权限管理。根据实际业务需求调整配置,确保数据库的性能和安全。
120 9
|
1月前
|
关系型数据库 MySQL Linux
MySQL数据库下载安装教程(Windows&Linux)
本文档详细介绍了MySQL的安装步骤,包括安装前的准备工作、下载安装包、Windows和Linux系统下的具体安装流程,以及如何配置MySQL服务、设置环境变量、启动服务和连接数据库等关键操作。
|
1月前
|
机器学习/深度学习 并行计算 异构计算
WINDOWS安装eiseg遇到的问题和解决方法
通过本文的详细步骤和问题解决方法,希望能帮助你顺利在 Windows 系统上安装和运行 EISeg。
103 2
|
2月前
|
网络安全 Windows
Windows server 2012R2系统安装远程桌面服务后无法多用户同时登录是什么原因?
【11月更文挑战第15天】本文介绍了在Windows Server 2012 R2中遇到的多用户无法同时登录远程桌面的问题及其解决方法,包括许可模式限制、组策略配置问题、远程桌面服务配置错误以及网络和防火墙问题四个方面的原因分析及对应的解决方案。
154 4
|
2月前
|
Android开发 数据安全/隐私保护 虚拟化
安卓手机远程连接登录Windows服务器教程
安卓手机远程连接登录Windows服务器教程
314 4
|
2月前
|
NoSQL Linux PHP
如何在不同操作系统上安装 Redis 服务器,包括 Linux 和 Windows 的具体步骤
本文介绍了如何在不同操作系统上安装 Redis 服务器,包括 Linux 和 Windows 的具体步骤。接着,对比了两种常用的 PHP Redis 客户端扩展:PhpRedis 和 Predis,详细说明了它们的安装方法及优缺点。最后,提供了使用 PhpRedis 和 Predis 在 PHP 中连接 Redis 服务器及进行字符串、列表、集合和哈希等数据类型的基本操作示例。
99 4

热门文章

最新文章