2、web爬虫,scrapy模块以及相关依赖模块安装

简介: 当前环境python3.5 ,windows10系统 Linux系统安装 在线安装,会自动安装scrapy模块以及相关依赖模块

当前环境python3.5 ,windows10系统

Linux系统安装

在线安装,会自动安装scrapy模块以及相关依赖模块

pip install Scrapy

手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块

安装以下模块

1、lxml-3.8.0.tar.gz (XML处理库)

2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)

3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)

4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)

5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)

6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)

7、cryptography-2.0.tar.gz (密码学是一种包)

8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)

9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)

10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)

11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)

12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))

13、pycparser-2.18.tar.gz (C解析器在Python中)

windows系统安装

windows安装,首先要安装pywin32,根据自己的系统来安装32位还是64位

pywin32-221.win32-py3.5.exe

pywin32-221.win-amd64-py3.5.exe

在线安装

pip install scrapy

手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块

安装以下模块

1、lxml-3.8.0.tar.gz (XML处理库)

2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)

3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)

4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)

5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)

6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)

7、cryptography-2.0.tar.gz (密码学是一种包)

8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)

9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)

10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)

11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)

12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))

13、pycparser-2.18.tar.gz (C解析器在Python中)

测试是否安装成功

在cmd终端,运行python

然后运行:import scrapy  ,没有提示错误说明安装成功

image

【转载自:https://www.jianshu.com/u/3fe4aab60ac4

相关文章
|
7月前
|
数据采集 前端开发 JavaScript
Scrapy结合Selenium实现搜索点击爬虫的最佳实践
Scrapy结合Selenium实现搜索点击爬虫的最佳实践
|
5月前
|
数据采集 Python
如何通过requests和time模块限制爬虫请求速率?
如何通过requests和time模块限制爬虫请求速率?
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
505 6
|
6月前
|
数据采集 存储 监控
Scrapy框架下地图爬虫的进度监控与优化策略
Scrapy框架下地图爬虫的进度监控与优化策略
|
9月前
|
监控 Linux PHP
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
273 20
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
509 4
|
数据采集 中间件 API
在Scrapy爬虫中应用Crawlera进行反爬虫策略
在Scrapy爬虫中应用Crawlera进行反爬虫策略
|
小程序 测试技术 iOS开发
Python和Web--模块cgi的简单用例
Python和Web--模块cgi的简单用例
149 1
|
Web App开发 Java 测试技术
一、自动化:web自动化。Selenium 入门指南:从安装到实践
一、自动化:web自动化。Selenium 入门指南:从安装到实践
231 0
|
JavaScript 应用服务中间件 Apache
Node.js Web 模块
10月更文挑战第7天
109 0

热门文章

最新文章