手把手教你如何新建scrapy爬虫框架的第一个项目(上)

简介: 前几天给大家分享了如何在Windows下创建网络爬虫虚拟环境及如何安装Scrapy还有Scrapy安装过程中常见的问题总结及其对应的解决方法感兴趣的小伙伴可以戳链接进去查看。关于Scrapy的介绍之前也在文章中提及过今天小编带大家进入Scrapy爬虫框架创建Scrapy爬虫框架的第一个项目具体过程如下所示。

前几天给大家分享了如何在Windows下创建网络爬虫虚拟环境及如何安装Scrapy,还有Scrapy安装过程中常见的问题总结及其对应的解决方法,感兴趣的小伙伴可以戳链接进去查看。关于Scrapy的介绍,之前也在文章中提及过,今天小编带大家进入Scrapy爬虫框架,创建Scrapy爬虫框架的第一个项目,具体过程如下所示。


手把手教你如何新建scrapy爬虫框架的第一个项目(上)


1、进入虚拟环境,不知道进入的环境的小伙伴可以戳这篇文章:在Windows下如何创建指定的虚拟环境和在Windows下如何创建虚拟环境(默认情况下)。进入到环境之后可以通过“pip list”命令查看Scrapy是否安装成功,如下图所示。


手把手教你如何新建scrapy爬虫框架的第一个项目(上)


可以看到Scrapy已经安装成功。

2、这里小编欲将Scrapy项目放到demo文件夹下,所以先退回到上级目录中去,如下图所示。


手把手教你如何新建scrapy爬虫框架的第一个项目(上)


3、尔后开始新建Scrapy项目,输入创建Scrapy爬虫项目命令“scrapy startproject article”,其中article是爬虫项目的名称,可以自行更改的。输入创建命令之后,稍等片刻,系统会根据模板进行创建项目,模板所在的目录是“D:pythonDemo8Septemberdemoscrapy_demoLibsite-packagesscrapy emplatesproject”,与你的爬虫环境相关,如下图所示,等待项目创建完成。当然我们可以自定义爬虫模板,不过目前来看,Scrapy爬虫框架提供的模板够我们用的了,我们能把Scrapy搞明白也就可以了。


手把手教你如何新建scrapy爬虫框架的第一个项目(上)


4、根据上图提示,首先进入到article文件夹下,输入命令“cd article”,之后通过“dir”查看目录,也可以通过“tree /f”生成文件目录的树形结构,如下图所示,可以很清晰的看到Scrapy创建命令生成的文件。


手把手教你如何新建scrapy爬虫框架的第一个项目(上)


顶层的article文件夹是项目名。

第二层中包含的是一个与项目名同名的文件夹article和一个文件scrapy.cfg,这个与项目同名的文件夹article是一个模块,所有的项目代码都在这个模块内添加,而scrapy.cfg文件是整个Scrapy项目的配置文件。

第三层中有5个文件和一个文件夹,其中__init__.py是个空文件,作用是将其上级目录变成一个模块;items.py是定义储对象的文件,决定爬取哪些项目;middlewares.py文件是中间件,一般不用进行修改,主要负责相关组件之间的请求与响应;pipelines.py是管道文件,决定爬取后的数据如何进行处理和存储;settings.py是项目的设置文件,设置项目管道数据的处理方法、爬虫频率、表名等;spiders文件夹中放置的是爬虫主体文件(用于实现爬虫逻辑)和一个__init__.py空文件。

5、在Windows文件夹下也可以很清晰的看到新建的Scrapy文件,如下图所示。


手把手教你如何新建scrapy爬虫框架的第一个项目(上)


6、当然,也可以通过Pycharm导入项目的方式进行查看项目文件,此时更加的清晰,如下图所示。


手把手教你如何新建scrapy爬虫框架的第一个项目(上)


7、点击各个项目文件,可以查看其中的内容,其中settings.py文件的内容如下图所示,其他的文件内容在此就不再赘述了。


手把手教你如何新建scrapy爬虫框架的第一个项目(上)


至此,第一个Scrapy爬虫项目的创建及Scrapy爬虫项目中的文件解析介绍就先到这里了,下一步开始进行Scrapy爬虫项目的进阶内容,敬请期待~~

相关文章
|
2月前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
117 6
|
3月前
|
数据采集 中间件 开发者
Scrapy爬虫框架-自定义中间件
Scrapy爬虫框架-自定义中间件
65 1
|
3月前
|
数据采集 中间件 Python
Scrapy爬虫框架-通过Cookies模拟自动登录
Scrapy爬虫框架-通过Cookies模拟自动登录
135 0
|
2月前
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
99 4
|
2月前
|
数据采集 中间件 API
在Scrapy爬虫中应用Crawlera进行反爬虫策略
在Scrapy爬虫中应用Crawlera进行反爬虫策略
|
3月前
|
消息中间件 数据采集 数据库
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
40 1
|
3月前
|
消息中间件 数据采集 数据库
小说爬虫-02 爬取小说详细内容和章节列表 推送至RabbitMQ 消费ACK确认 Scrapy爬取 SQLite
小说爬虫-02 爬取小说详细内容和章节列表 推送至RabbitMQ 消费ACK确认 Scrapy爬取 SQLite
29 1
|
3月前
|
数据采集 SQL 数据库
小说爬虫-01爬取总排行榜 分页翻页 Scrapy SQLite SQL 简单上手!
小说爬虫-01爬取总排行榜 分页翻页 Scrapy SQLite SQL 简单上手!
95 0
|
5月前
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
252 4
|
5月前
|
数据采集 存储 搜索推荐
打造个性化网页爬虫:从零开始的Python教程
【8月更文挑战第31天】在数字信息的海洋中,网页爬虫是一艘能够自动搜集网络数据的神奇船只。本文将引导你启航,用Python语言建造属于你自己的网页爬虫。我们将一起探索如何从无到有,一步步构建一个能够抓取、解析并存储网页数据的基础爬虫。文章不仅分享代码,更带你理解背后的逻辑,让你能在遇到问题时自行找到解决方案。无论你是编程新手还是有一定基础的开发者,这篇文章都会为你打开一扇通往数据世界的新窗。