数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库

简介: 数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库

写在前面

本期内容: 基于pygal与requests分析GitHub最受欢迎的30个Python库

实验环境:

  • python
  • requests
  • pygal

实验目标

在现实的应用中,我们经常会使用爬虫分析网络数据,本期博主将用pygal+requests简单对github最受欢迎的30个python库做可视化分析(以stars数量进行排序)。

实验内容

1.配置实验环境

在正式开始之前,我们需要先安装本次实验用到的依赖库:


requests:一个Python第三方库,用于发送HTTP请求,并且提供了简洁而友好的API。它支持各种HTTP方法,并具有自动化的内容解码、会话管理、文件上传下载等功能,是进行Web开发和网络爬虫的常用工具。


pygal:一个开源的Python图表库,用于制作统计图表和可视化数据。它支持多种图表类型,包括折线图、柱状图、饼图等,并且具有丰富的样式和可定制性。通过pygal,用户可以轻松地创建漂亮、交互式的图表,用于数据分析和展示。

安装命令:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pygal

2.GitHub知识点

GitHub官方提供了一个JSON网页,其中存储了按照某个标准排列的项目信息,我们可以通过以下网址查看关键字是python且按照stars数量排列的项目信息:

https://api.github.com/search/repositories?q=language:python&sort=stars

这个网址的JSON数据中,items保存了前30名stars最多的Python项目信息。

重点关注以下信息:

其中:

  • name:表示库名称
  • ogin:表示库的拥有者
  • html_url:表示库的网址
  • stargazers_count:该库被star的数量

3.爬取重要信息

我们先尝试着简单爬取一下本次实验所需要的几个重要信息

程序设计

"""
作者:Want595
微信号:Want_595
公众号:Want595
"""
import requests

url = 'https://api.github.com/search/repositories?q=language:python&sort=stars'
reponse = requests.get(url)
print(reponse.status_code, "响应成功!")
response_dict = reponse.json()
total_repo = response_dict['total_count']
repo_list = response_dict['items']
print("总仓库数:", total_repo)
print('top:', len(repo_list))
for repo_dict in repo_list:
    print('\n名字:', repo_dict['name'])
    print('作者:', repo_dict['owner']['login'])
    print('Stars:', repo_dict['stargazers_count'])
    print('网址:', repo_dict['html_url'])
    print('简介:', repo_dict['description'])

程序分析


该代码使用Python的requests模块来访问GitHub的API,并搜索使用Python语言的仓库,并按照stars数量进行排序。代码首先发送GET请求,然后将响应转换为JSON格式。接着打印总仓库数和top仓库数。然后遍历仓库列表,并打印每个仓库的名称、作者、stars数量、网址和简介。这段代码的作用是获取GitHub上使用Python语言的仓库中的一些基本信息,并打印出来。

运行结果

4.可视化分析

程序设计

"""
作者:Want595
微信号:Want_595
公众号:Want595
"""
import requests
import pygal
from pygal.style import LightColorizedStyle, LightenStyle

url = 'https://api.github.com/search/repositories?q=language:python&sort=stars'
reponse = requests.get(url)
print(reponse.status_code, "响应成功!")
response_dict = reponse.json()
total_repo = response_dict['total_count']
repo_list = response_dict['items']
print("总仓库数:", total_repo)
print('top:', len(repo_list))

names, plot_dicts = [], []

……具体代码请下载后查看哦

程序分析

该程序使用了requests库向GitHub的API发送请求,获取了Python语言的仓库列表,并对返回的数据进行处理和分析。

具体的程序分析如下:

  1. 导入需要使用的库:requests、pygal以及相关的样式库。
  2. 设置GitHub的API请求URL,其中指定了查询语言为Python,并按照星标数(即stars)排序。
  3. 发送GET请求,并获取返回的响应对
  4. 打印响应状态码,用于验证请求是否成功。
  5. 将响应对象的JSON数据转换为字典形式。
  6. 获取仓库的总数和仓库列表。
  7. 打印总仓库数和仓库列表长度。
  8. 初始化用于绘图的变量:names(存储仓库名称)、plot_dicts(存储每个仓库的相关信息)。
  9. 遍历仓库列表,分别获取仓库名称、仓库的星标数、仓库的描述和仓库的URL,并将相关信息添加到对应的变量中。
  10. 初始化绘图的样式和配置。
  11. 创建柱状图对象,并设置标题、横坐标、数据等属性。
  12. 将数据添加到柱状图中。
  13. 将柱状图渲染为SVG文件。

最终的结果是生成了一个包含前30名最受欢迎的Python库的柱状图,并将图表保存为SVG文件。

运行结果

写在后面

我是一只有趣的兔子,感谢你的喜欢!

目录
相关文章
|
2月前
基于Reactor模式的高性能网络库github地址
https://github.com/zyi30/reactor-net.git
52 0
|
2月前
|
数据采集 数据可视化 搜索推荐
Python数据分析全流程指南:从数据采集到可视化呈现的实战解析
在数字化转型中,数据分析成为企业决策核心,而Python凭借其强大生态和简洁语法成为首选工具。本文通过实战案例详解数据分析全流程,涵盖数据采集、清洗、探索、建模、可视化及自动化部署,帮助读者掌握从数据到业务价值的完整技能链。
362 0
|
1月前
|
数据采集 缓存 JSON
GitHub 开源爆款工具|MediaCrawler:程序员零门槛采集抖音/小红书/B站等社交评论,30K star 背后的场景实战揭秘!
MediaCrawler 是一个支持多平台的社交媒体数据爬虫工具,覆盖小红书、抖音、B站等主流平台,提供关键词/ID爬取、评论采集、登录态缓存、代理池等功能,结合 Playwright 实现浏览器模拟,降低逆向难度,适合内容运营、数据分析等场景,开源免费,使用简便。
340 0
|
3月前
|
数据采集 人工智能 算法
“脏数据不清,分析徒劳”——聊聊数据分析里最容易被忽视的苦差事
“脏数据不清,分析徒劳”——聊聊数据分析里最容易被忽视的苦差事
152 34
|
2月前
|
自然语言处理 关系型数据库 PostgreSQL
Github 10.1k star 的高颜值实时Kanban,看完就想收藏!引爆团队效率的开源利器:Planka 实战深度解析
Planka 是一款开源协作看板工具,支持多人实时协作、Markdown 编辑、通知提醒等功能。基于 MIT 许可,可自托管部署,适合中小团队和个人高效管理任务。
160 0
|
2月前
|
数据采集 SQL 监控
“你分析个锤子啊,米都没洗净”——数据采集和数据分析的底层逻辑真相
“你分析个锤子啊,米都没洗净”——数据采集和数据分析的底层逻辑真相
81 0
|
4月前
|
机器学习/深度学习 数据采集 数据可视化
Python数据分析,别再死磕Excel了!
Python数据分析,别再死磕Excel了!
185 2
|
4月前
|
JSON JavaScript API
MCP 实战:用配置与真实代码玩转 GitHub 集成
MCP 实战:用配置与真实代码玩转 GitHub 集成
1203 4
|
6月前
|
人工智能 网络安全 开发工具
vscode代码推送到github库菜鸡专用教程
vscode代码推送到github库菜鸡专用教程
|
7月前
|
存储 分布式计算 大数据
基于阿里云大数据平台的实时数据湖构建与数据分析实战
在大数据时代,数据湖作为集中存储和处理海量数据的架构,成为企业数据管理的核心。阿里云提供包括MaxCompute、DataWorks、E-MapReduce等在内的完整大数据平台,支持从数据采集、存储、处理到分析的全流程。本文通过电商平台案例,展示如何基于阿里云构建实时数据湖,实现数据价值挖掘。平台优势包括全托管服务、高扩展性、丰富的生态集成和强大的数据分析工具。

推荐镜像

更多