折腾了几天,终于完成了第一个web开发项目,其中乐趣多多,坑也是巨多,听我娓娓道来之前,按例给大家上网站链接:
由于本人使用的腾讯学生机(小霸王),请稍作等待,不想等待的小伙伴们,直接看下图:
项目概述
本项目结合数据的采集、预处理、存储、使用等技术,利用Python语言实现功能,展示了简书推荐作者相应的统计信息,本人的信息以及推荐作者的查询功能。
项目知识点
- scrapy
利用scrapy框架进行数据的爬虫及预处理,由于侧重点是web开发,这里只是爬取了用户的个人信息,文章等信息没有做爬取。 - mysql
该项目使用mysql进行数据的存储,同时通过mysql数据库完成前后端的数据交互。 - echarts3
数据的可视化使用echarts3,百度良心之作~ - Semantic UI
对于css完全小白的我来说,当然要使用框架啦,semantic里面的容器炒鸡好用,不要担心布局难看啦。 - Django
web开发当然是使用python的Django框架啦。
统计
该web项目总共设计3个界面,由于界面的上下结构一样,这就要使用模板的继承。
- 首先可视化了用户的类型和性别分布
- 地区分布
这里简书没有用户的地址信息,但有些用户挂了微博,我通过进入微博爬取的数据。这里微博的数据要使用正则,然后加请求头。总共才30多个数据,居住在上海的就有9个~
- 用户排名
这里使用了粉丝排名和文章数进行排名。简书一哥彭小六位居第三,而文章数排第一的是Sir电影,1514篇,6的飞起。
罗罗攀
第二个界面是我自己的界面。
-
卡片
这里使用semantic制作了一个小卡片,个人非常喜欢。
- 热门文章
多半都是与简书相关的一些爬虫文章。 - 写作时间可视化
最后弄了2个折线图,看看我都是什么时候更文的~
搜索
最后通过form表单的post功能,完成搜索功能,用手机可能无法实现搜索,请用电脑使用。
总结
- 界面我还是比较喜欢的,粉色的背景和一个笔记本,与简书很配。
- 感谢故人兄、亮亮同学、程程同学们的帮助。
- 还有许多不足,请多多批评指正。