自学人工智能:1-3 接触scrapy框架-阿里云开发者社区

开发者社区> 冯建> 正文

自学人工智能:1-3 接触scrapy框架

简介: 已经学了几天python,今天通过对scrapy框架的认识,加深对python的印象。
+关注继续查看

本文目的

已经学了几天python,今天通过对scrapy框架的认识,加深对python的印象。

另外

本博客是学习人工智能的记录,前期文章不会贴多少代码(关键也没能力写出优质python代码),更多是记录写文章时脑海中浮动的想法,自己是如何学习的。
第一部分,即【 自学人工智能:1-x 】 围绕python更新。往后继续采用【 M - N 】的格式,M是大分类,N是小篇章。因为学习过程中可能同时接收多个知识点,所以我这里很可能存在多个大分类M同时更新~

理解Scrapy框架

上篇文章提到爬虫,查阅资料时得知scrapy框架是爬网站数据的神器。根据手册尝试用scrapy进行网站数据采集。在此不得不提下图:
721239_20170606154844043_623097921
刚看到时因为图片文字是英文,加上对这类流程结构的图有一种排斥,于是扫一眼就不再看,随着对scrapy各部分有初步了解,再回来看这幅图时,似乎有点明白为何scrapy如此强大。

强烈的感受就是用scrapy分工明确:抓取url的、深入url采集内容的、处理数据的等,有条理又便于理解,反过来可以利用这种思路优化自己的爬虫程序。

而且scrapy提供了多个小工具,其中有的针对目标采集网站,快速进行测试。

总结

使用scrapy框架可以节省不少时间,减少了亲自写代码的量。由于自己的目标并不是做爬虫,而是为学习人工智能积攒知识0.0,本文极其浅显提了scrapy,未来真正用到时再做完善。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
困扰人工智能发展的,是最简单的常识问题
如果你把木头堆进壁炉,然后扔根火柴进去,会发生什么?对此某些最聪明的机器也毫无头绪。
817 0
Linux USB Host-Controller的初始化代码框架分析【转】
转自:http://blog.csdn.net/zkami/article/details/2496770 usb_hcd_omap_probe (const struct hc_driver *driver) (dev/ohci/ohci-omap.
812 0
基于python的Scrapy爬虫框架实战
基于python的Scrapy爬虫框架实战 2018年7月19日笔记 1.伯乐在线 网站页面如下图所示: 网站页面.png 1.1 新建爬虫工程 命令:scrapy startproject BoleArticle 新建爬虫工程命令 命令:scrapy genspider article "blog.jobbole.com" 注意:运行此命令时必须在爬虫工程文件夹内,如下图路径所示。
1286 0
+关注
冯建
人工智能领域默默探索学习中,寻志同道合的朋友
5
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载