Python编程:windows安装scrapy及报错

简介: Python编程:windows安装scrapy及报错

安装scrapy

官网:https://scrapy.org/download/

使用pip安装,如果失败下载zip安装


pip install scrapy


遇到的错误

1、安装报错:


# error: command 'cl.exe' failed: No such file or directory


解决:

下载 twisted 并安装

http://www.lfd.uci.edu/~gohlke/pythonlibs/


scrapy正常

image.png


2、运行报错


# ImportError: No module named 'win32api'


安装模块pypiwin32


pip install pypiwin32


3、visual c++ build tools

http://www.microsoft.com/zh-CN/download/details.aspx?id=48159


4、问题:openssl 之不是有效的win 32程序


pip uninstall pyopenssl cryptography

pip install pyopenssl cryptography


5、 问题:ModuleNotFoundError: No module named ‘_cffi_backend’


pip install pypiwin32

1

6、问题:scrapy shell url 发生TypeError: ‘float’ object is not iterable


pip install twisted==16.6.0


7、问题: Microsoft Visual C++ 14.0 is required


方式1:按照提示下载安装 Microsoft Visual C++ 14.0


visualcppbuildtools_full.exe

vc_redist.x64.exe

安装完以上两个组件之后,依然失败


方式2:方式一不一定好使,推荐下载对应已经编译好的windows版本安装

http://www.lfd.uci.edu/~gohlke/pythonlibs/


pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl


spider环境安装:

pip install  scrapyd_api pypiwin32 redis scrapyd python-scrapyd-api twisted


参考:


从零开始的 Python 爬虫速成指南


cl.exe’ failed: No such file or directory when installing Scrapy


Scrapy运行ImportError: No module named win32api错误


相关文章
|
Linux 计算机视觉 C++
【解决方案】Building wheel for opencv-python:安装卡顿的原因与解决方案
当你安装OpenCV时,命令行停在Building wheel for opencv-python (PEP 517) ... -似乎卡住了。这并非程序假死,而是其编译耗时巨大。本文将揭示原因,并提供优化安装体验的实用方法。
1681 88
|
人工智能 数据安全/隐私保护 异构计算
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
1938 8
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
|
IDE 开发工具 开发者
手把手教你安装PyCharm 2025:开发者的Python IDE配置全流程+避坑指南
本教程详细介绍了PyCharm 2025版本在Windows系统下的安装流程及配置方法,涵盖AI代码补全与智能调试工具链等新功能。内容包括系统要求、安装步骤、首次运行配置(如主题选择与插件安装)、创建首个Python项目,以及常见问题解决方法。此外,还提供了切换中文界面和延伸学习资源的指导,帮助用户快速上手并高效使用PyCharm进行开发。
6962 61
|
人工智能 数据挖掘 Linux
Centos安装Python3.7(亲测可用)
本指南详细介绍了在基于Linux(以CentOS系统为例,使用yum包管理器)的系统上安装Python 3.7版本的完整流程。Python是一种广泛使用的高级编程语言,在各种领域如软件开发、数据分析、人工智能和区块链开发等都有着重要的应用。
1060 2
|
IDE 测试技术 项目管理
【新手必看】PyCharm2025 免费下载安装配置教程+Python环境搭建、图文并茂全副武装学起来才嗖嗖的快,绝对最详细!
PyCharm是由JetBrains开发的Python集成开发环境(IDE),专为Python开发者设计,支持Web开发、调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试和版本控制等功能。它有专业版、教育版和社区版三个版本,其中社区版免费且适合个人和小型团队使用,包含基本的Python开发功能。安装PyCharm前需先安装Python解释器,并配置环境变量。通过简单的步骤即可在PyCharm中创建并运行Python项目,如输出“Hello World”。
【新手必看】PyCharm2025 免费下载安装配置教程+Python环境搭建、图文并茂全副武装学起来才嗖嗖的快,绝对最详细!
|
存储 缓存 文件存储
uv安装python及其依赖的加速方法
国内在使用uv的时候,可能会涉及到装python的速度太慢的问题,为了解决这个问题,可以使用`UV_PYTHON_INSTALL_MIRROR`这个环境变量。除此以外,对于多人协作场景,`UV_CACHE_DIR`也是一个有用的环境变量。本文会介绍这两个变量。
9526 10
|
JSON Shell 数据格式
使用 pipx 安装并执行 Python 应用程序 (1)
使用 pipx 安装并执行 Python 应用程序 (1)
1758 17
|
数据采集 前端开发 JavaScript
Scrapy结合Selenium实现搜索点击爬虫的最佳实践
Scrapy结合Selenium实现搜索点击爬虫的最佳实践
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
824 6
|
数据采集 中间件 开发者
Scrapy爬虫框架-自定义中间件
Scrapy爬虫框架-自定义中间件
454 1

推荐镜像

更多