Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy-阿里云开发者社区

开发者社区> 陈国林> 正文

Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy

简介: 原文转载自:http://www.cnblogs.com/HelloPython/ 根据Scrapy安装指南(http://doc.
+关注继续查看


原文转载自http://www.cnblogs.com/HelloPython/


根据Scrapy安装指南(http://doc.scrapy.org/en/latest/intro/install.html)

Don’t use the python-scrapy package provided by Ubuntu, they are typically too old and slow to catch up with latest Scrapy.

Instead, use the official Ubuntu Packages, which already solve all dependencies for you and are continuously updated with the latest bug fixes.

进入这个页面(http://doc.scrapy.org/en/latest/topics/ubuntu.html#topics-ubuntu)


第一步: 为了安装这个packages,在ubuntu下运行 lsb_release -cs,显示

              

第二步: 现在需要做的就是用vi添加 deb http://archive.scrapy.org/ubuntu precise main 到 /etc/apt/sources.list中去

              

第三步: 然后运行 curl -s http://archive.scrapy.org/ubuntu/archive.key | sudo apt-key add - 

第四步:再更新源 sudo apt-get update

第五步:最后安装  sudo apt-get install scrapy-0.1X,可选择不同版本,我安装的是0.16

             


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
iOS网络编程--ASIHTTPRequest框架安装和配置-图文解说
<strong>ASIHTTPReques</strong>t框架是优秀的第三方Objective-C的HTTP框架,支持Mac OS X和iOS下的HTTP开发。技术支持网站是http://allseeing-i.com/ASIHTTPRequest/。具有如下优点:<br>支持下载数据放在内存或本地文件<br>容易访问请求和应答HTTP header<br>支持Cookie<br>支持GZ
982 0
基于python的Scrapy爬虫框架实战
基于python的Scrapy爬虫框架实战 2018年7月19日笔记 1.伯乐在线 网站页面如下图所示: 网站页面.png 1.1 新建爬虫工程 命令:scrapy startproject BoleArticle 新建爬虫工程命令 命令:scrapy genspider article "blog.jobbole.com" 注意:运行此命令时必须在爬虫工程文件夹内,如下图路径所示。
1286 0
Python网络爬虫反爬破解策略实战
我们经常会写一 些网络爬虫,想必大家都会有一个感受,写爬虫虽然不难,但是反爬处理却……
8271 0
+关注
陈国林
曾任职于阿里巴巴,现就职于美图,专业搬砖100年~
723
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载