Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略-阿里云开发者社区

开发者社区> 一个处女座的程序猿> 正文

Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略

简介: Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略
+关注继续查看

scrapy简介


   Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。


这次我们使用Python3版本进行安装scrapy,如果是其他python2.版本安装请参考链接,Python 2.7安装scrapy指南


Scrapy进行安装


pip install Scrapy

image.png



如果安装中出现错误,请根据下边的几个错误,分别进行处理,最后测试成功即可!


1、当安装过程中出现了红色的错误:Failed building wheel for Twisted


然后去这个网址https://www.lfd.uci.edu/~gohlke/pythonlibs/,下载与你python版本,相应的Twisted版本


image.png


2、接着安装这个whl文件

image.png



3、当安装过程中出现了这个白色错误:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools


Command ""f:\program files\python\python36\python.exe" -u -c "import setuptools, tokenize;__file__='C:\\Users\\99386\\AppData\\Local\\Temp\\pip-build-w06f16db\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\99386\AppData\Local\Temp\pip-6otgh__e-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\99386\AppData\Local\Temp\pip-build-w06f16db\Twisted\




4、最后测试一下,是否安装成功




哈哈,大功告成!


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Py之turicreate:turicreate的简介、安装、使用方法之详细攻略
Py之turicreate:turicreate的简介、安装、使用方法之详细攻略
15 0
Py之gensim:gensim的简介、安装、使用方法之详细攻略
Py之gensim:gensim的简介、安装、使用方法之详细攻略
26 0
Bootstrap4 图标无法使用,使用font-awesome代替
前言 最近正在练手一个Angular4的项目,需要用到矢量图标相关的功能,但是发现Bootstrap4 图标功能失效,进过调查发现是图标功能被移除bootstrap包下,所以在这里记录一下。 正文 首先将font-awesome进行安装: npm install --save font-awesome 然后在angular.json中进行配置,找到styles,将下方位置进行添加: "./node_modules/font-awesome/css/font-awesome.css" 这样在项目中正常使用就行。
1809 0
Py之mpld3:mpld3的简介、安装、使用方法之详细攻略
Py之mpld3:mpld3的简介、安装、使用方法之详细攻略
26 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7751 0
3、web爬虫,scrapy模块介绍与使用
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。
918 0
+关注
一个处女座的程序猿
国内互联网圈知名博主、人工智能领域优秀创作者,全球最大中文IT社区博客专家、CSDN开发者联盟生态成员、中国开源社区专家、华为云社区专家、51CTO社区专家、Python社区专家等,曾受邀采访和评审十多次。仅在国内的CSDN平台,博客文章浏览量超过2500万,拥有超过57万的粉丝。
1701
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载