Anaconda详细安装及安装Scrapy框架

简介: Anaconda详细安装及安装Scrapy框架

Anacond的介绍


Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。 因为包含了大量的科学包,Anaconda 的下载文件比较大(约 531 MB),如果只需要某些包,或者需要节省带宽或存储空间,也可以使用Miniconda这个较小的发行版(仅包含conda和 Python)。


Conda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同的环境之间切换


Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等


Miniconda包括Conda、Python


Anacond下载


使用pip install 来安装scrapy需要安装大量的依赖库,这里我使用了Anaconda来安装scrapy,安装时只需要一条语句:conda install scrapy即可


官网下载地址:https://www.anaconda.com/download/


这里我给大家提供了百度云下载链接


链接:https://pan.baidu.com/s/1NhR_2F8m2eHvAM648gY4lA

提取码:giey

复制这段内容后打开百度网盘手机App,操作更方便哦


20200308091429301.png


解压

20200308091445453.png

击下载好的exe文件,出现如下界面,点击 Next 即可。

20200308091533305.png


点击 I Agree



20200308091709556.png


选择ALL Users


20200308091742255.png


两个都勾选上



2020030809182425.png



静静的等待安装


20200308092022500.png

点击 Finish就安装完成了



20200308091919488.png



20200308093522483.png



键盘注入windows  +  R

输入CMD



20200308092304290.png


输入 conda --version

如果输出conda 4.3.30之类的就说明环境变量设置成功了.


20200308090526746.png

键入python --version 回车,查看当前安装的python版本

我们也可以通过键入python 回车进入python解释器


2020030809373191.png

之后cmd输入conda install scrapy一直报错

20200308095940189.png


Fetching package metadata ...


CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://www.lfd.uci.edu/~gohlke/pythonlibs/win-64/repodata.json>

Elapsed: -

An HTTP error occurred when trying to retrieve this URL.

HTTP errors are often intermittent, and a simple retry will get you on your way.ConnectionError(MaxRetryError('HTTPSConnectionPool(host=\'www.lfd.uci.edu\', port=443): Max retries exceeded with url: /~gohlke/pythonlibs/win-64/repodata.json (Caused by ProtocolError(\'Connection aborted.\', OSError("(10054, \'WSAECONNRESET\')",)))',),)


解决办法:


参考这篇文章 https://blog.csdn.net/W_317/article/details/104727718


输入conda install scrapy 安装成功


20200308101930783.png


验证是否成功

检测scrapy是否安装成功,在cmd窗口输入scrapy回车查看


20200308103027489.png

cmd输入

conda list

查看一下,如下

20200308103432901.png


20200308103416957.png


另外,我们通过指令scrapy startproject demo1生成一个名为demo1的scrapy项目看看。

在终端窗口执行该指令,注意,你需要切换到你想要生成项目的目录下。下面的是我的截图。


20200308103826226.png


打开本地文件可以看到scrapy框架文件


20200308110240247.png



用PyCharm打开项目

20200308110419192.png


相关文章
|
3月前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
189 6
|
4月前
|
数据采集 中间件 开发者
Scrapy爬虫框架-自定义中间件
Scrapy爬虫框架-自定义中间件
80 1
|
4月前
|
数据采集 中间件 Python
Scrapy爬虫框架-通过Cookies模拟自动登录
Scrapy爬虫框架-通过Cookies模拟自动登录
164 0
|
7月前
|
数据采集 存储 中间件
高效数据抓取:Scrapy框架详解
高效数据抓取:Scrapy框架详解
|
3月前
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
149 4
|
4月前
|
数据采集 中间件 数据挖掘
Scrapy 爬虫框架(一)
Scrapy 爬虫框架(一)
81 0
|
4月前
|
数据采集 XML 前端开发
Scrapy 爬虫框架(二)
Scrapy 爬虫框架(二)
64 0
|
6月前
|
数据采集 存储 XML
Scrapy框架实现数据采集的详细步骤
本文介绍了使用Scrapy框架从宁波大学经济学院网站爬取新闻或公告详情页内容的过程,包括创建Scrapy项目、编写爬虫规则、提取所需信息,并最终将数据存储到Excel文件中的方法和步骤。
Scrapy框架实现数据采集的详细步骤
|
6月前
|
数据采集 中间件 调度
Scrapy 爬虫框架的基本使用
Scrapy 爬虫框架的基本使用
177 3
|
6月前
|
数据采集 存储 中间件
Python进行网络爬虫:Scrapy框架的实践
【8月更文挑战第17天】网络爬虫是自动化程序,用于从互联网收集信息。Python凭借其丰富的库和框架成为构建爬虫的首选语言。Scrapy作为一款流行的开源框架,简化了爬虫开发过程。本文介绍如何使用Python和Scrapy构建简单爬虫:首先安装Scrapy,接着创建新项目并定义爬虫,指定起始URL和解析逻辑。运行爬虫可将数据保存为JSON文件或存储到数据库。此外,Scrapy支持高级功能如中间件定制、分布式爬取、动态页面渲染等。在实践中需遵循最佳规范,如尊重robots.txt协议、合理设置爬取速度等。通过本文,读者将掌握Scrapy基础并了解如何高效地进行网络数据采集。
307 6