前几天给大家分享了如何在Windows下创建网络爬虫虚拟环境及如何安装Scrapy还有Scrapy安装过程中常见的问题总结及其对应的解决方法感兴趣的小伙伴可以戳链接进去查看。关于Scrapy的介绍之前也在文章中提及过今天小编带大家进入Scrapy爬虫框架创建Scrapy爬虫框架的第一个项目具体过程如下所示。
1、进入虚拟环境不知道进入的环境的小伙伴可以戳这篇文章在Windows下如何创建指定的虚拟环境和在Windows下如何创建虚拟环境默认情况下。进入到环境之后可以通过“pip list”命令查看Scrapy是否安装成功如下图所示。
可以看到Scrapy已经安装成功。
2、这里小编欲将Scrapy项目放到demo文件夹下所以先退回到上级目录中去如下图所示。
3、尔后开始新建Scrapy项目输入创建Scrapy爬虫项目命令“scrapy startproject article”其中article是爬虫项目的名称可以自行更改的。输入创建命令之后稍等片刻系统会根据模板进行创建项目模板所在的目录是“D:pythonDemo8Septemberdemoscrapy_demoLibsite-packagesscrapy emplatesproject”与你的爬虫环境相关如下图所示等待项目创建完成。当然我们可以自定义爬虫模板不过目前来看Scrapy爬虫框架提供的模板够我们用的了我们能把Scrapy搞明白也就可以了。
4、根据上图提示首先进入到article文件夹下输入命令“cd article”之后通过“dir”查看目录也可以通过“tree /f”生成文件目录的树形结构如下图所示可以很清晰的看到Scrapy创建命令生成的文件。
顶层的article文件夹是项目名。
第二层中包含的是一个与项目名同名的文件夹article和一个文件scrapy.cfg这个与项目同名的文件夹article是一个模块所有的项目代码都在这个模块内添加而scrapy.cfg文件是整个Scrapy项目的配置文件。
第三层中有5个文件和一个文件夹其中__init__.py是个空文件作用是将其上级目录变成一个模块items.py是定义储对象的文件决定爬取哪些项目middlewares.py文件是中间件一般不用进行修改主要负责相关组件之间的请求与响应pipelines.py是管道文件决定爬取后的数据如何进行处理和存储settings.py是项目的设置文件设置项目管道数据的处理方法、爬虫频率、表名等spiders文件夹中放置的是爬虫主体文件用于实现爬虫逻辑和一个__init__.py空文件。
5、在Windows文件夹下也可以很清晰的看到新建的Scrapy文件如下图所示。
6、当然也可以通过Pycharm导入项目的方式进行查看项目文件此时更加的清晰如下图所示。
7、点击各个项目文件可以查看其中的内容其中settings.py文件的内容如下图所示其他的文件内容在此就不再赘述了。
至此第一个Scrapy爬虫项目的创建及Scrapy爬虫项目中的文件解析介绍就先到这里了下一步开始进行Scrapy爬虫项目的进阶内容敬请期待~~
