开发者社区> 天降攻城狮> 正文

2、web爬虫,scrapy模块以及相关依赖模块安装

简介: 当前环境python3.5 ,windows10系统 Linux系统安装 在线安装,会自动安装scrapy模块以及相关依赖模块
+关注继续查看

当前环境python3.5 ,windows10系统

Linux系统安装

在线安装,会自动安装scrapy模块以及相关依赖模块

pip install Scrapy

手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块

安装以下模块

1、lxml-3.8.0.tar.gz (XML处理库)

2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)

3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)

4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)

5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)

6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)

7、cryptography-2.0.tar.gz (密码学是一种包)

8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)

9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)

10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)

11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)

12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))

13、pycparser-2.18.tar.gz (C解析器在Python中)

windows系统安装

windows安装,首先要安装pywin32,根据自己的系统来安装32位还是64位

pywin32-221.win32-py3.5.exe

pywin32-221.win-amd64-py3.5.exe

在线安装

pip install scrapy

手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块

安装以下模块

1、lxml-3.8.0.tar.gz (XML处理库)

2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)

3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)

4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)

5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)

6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)

7、cryptography-2.0.tar.gz (密码学是一种包)

8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)

9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)

10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)

11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)

12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))

13、pycparser-2.18.tar.gz (C解析器在Python中)

测试是否安装成功

在cmd终端,运行python

然后运行:import scrapy  ,没有提示错误说明安装成功

image

【转载自:https://www.jianshu.com/u/3fe4aab60ac4

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
3、web爬虫,scrapy模块介绍与使用
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。
998 0
在 Windows 下安装 Scrapy
在 Windows 下安装 Scrapy 前言 因为要学一点爬虫,我要安装 Scrapy 这个库,直接用 Pycharm 安装就报错, pip 也不行,所以要把 Scrapy 依赖的库安装好,然后再安装 Scrapy 。
1517 0
8、web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用
使用IP代理 ProxyHandler()格式化IP,第一个参数,请求目标可能是http或者https,对应设置build_opener()初始化IPinstall_opener()将代...
1712 0
windows7 python3.4 安装scrapy
首先升级pip 虽然提示说已经升级,但是查看版本还是发现不对,随即进入C:\Python34\Lib\site-packages 查看已经存在9.0.1的版本,怎么办?将其移除,重新升级 安装lxml lxml是解析网页用的,scrapy依赖于它,它是一个第三方的库,这里推荐一个Python第三方库的网站http://www.lfd.uci.edu/~gohlke/pythonlibs/,里边都是编译好的,windows下python使用者的福利。
807 0
16、web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS
【http://bdy.lqkweb.com】 【http://www.swpan.cn】 【转载自:http://www.lqkweb.com】 PhantomJS虚拟浏览器 phantomjs 是一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器,利用这个软件,可以获取到网址js加载的任何信息,也就是可以获取浏览器异步加载的信息 下载网址:http://phantomjs.
958 0
1、web爬虫,requests请求
requests请求,就是用python的requests模块模拟浏览器请求,返回html源码。 模拟浏览器请求有两种,一种是不需要用户登录或者验证的请求,一种是需要用户登录或者验证的请求。
1029 0
2、web爬虫,scrapy模块以及相关依赖模块安装
当前环境python3.5 ,windows10系统 Linux系统安装 在线安装,会自动安装scrapy模块以及相关依赖模块
851 0
+关注
天降攻城狮
个人维信:zixuekaoshidian 个人QQ:798244092 学习交流QQ群:477287381
46
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载