Scrapy 爬取动态网站
scrapy + selenium + headless 爬取动态网站,完美解决了因调用 chrome headless 导致内存泄漏
Scrapy ——自动多网页爬取(抓取某人博客所有文章)(四)
首先创建project:
[python] view
plain copy
scrapy startproject CSDNBlog
一. items.py编写
在这里为清晰说明,只提取文章名称和文章网址。
[python] view
plain copy
浅谈大数据开发工程师的两年工作经验总结
今年广州的六月,在经历了大雨的洗礼之后,一切都变得更加明朗起来,新的工作,新的人和事。懒惰让我变得更焦虑,焦虑促使我进步,程序员的焦虑大家应该都有共同的感觉,时代的步伐太快了,在这个环境下的软件开发一定会淘汰掉那些不懂得学习,懒惰的人。
「全民k歌」有什么秘密?网站数据分析之数据获取
最近看到身边好几个朋友都在用“全民K歌”这款软件在手机上K歌,使用频率还是很高,于是就想来看看全民K歌平台的用户究竟是一群什么样的用户?他们有什么样的特征。然后进行数据分析,强化自己的分析思维与实战能力。