干货 | Python爬虫实战(中):数据可视化-教你做出漂亮的图表

简介: 干货 | Python爬虫实战(中):数据可视化-教你做出漂亮的图表

前言

各位看客老爷们,我又来啦。上一期我们利用Python+百度地图POI抓取了一些高校之间的距离数据,传送门:

干货 | Python爬虫实战:两点间的真实行车时间与路况分析(上)

不知道上一期的爬取数据的内容大家都品尝的怎么样了呢。

微信图片_20220423104014.gif

今天给大家带来的是python中对数据进行可视化处理的内容。

可能大家并不是很懂这个可视化的意思,大家可以先在脑海里面脑补一下那种酷炫的数据分析图,脑补出来了吗?

嘿嘿,用Python究竟能做一些什么样的图表呢,可以肯定的告诉大家,只有你想不到,没有它做不到!吊了半天胃口,现在上图!

微信图片_20220423104017.png直角坐标系动态散点图微信图片_20220423104020.png直角坐标系柱状图微信图片_20220423104023.jpg3D柱状图微信图片_20220423104025.jpg地图

对,我们要做的图就是和上面这几张图片一样!酷吧?

微信图片_20220423104028.png

上面的效果图都是我们今天要介绍的主角pyecharts库制作的!当然,pyecharts的作图类型肯定不仅仅只有上述这些图形,它还有很多很多类型,在这里我就不多说了。

在这一期推文中呢,我们主要介绍的是第一种图形,柱状图的使用。

目录


  • pyecharts模块的下载
  • 模型的建立
  • 数据的导入
  • 图形的生成
  • 加点更炫的
  • 写在最后

pyecharts模块的下载

要使用这个模块,你必须要下载这个模块,打开自己电脑的cmd,输入pip install pyecharts就可以了,如果本来就有这个模块的话,就不用下载了。

当然,如果电脑没有pip这个模块的话,需要自己去下载一个这个模块,在后续的推文中,小玮会给大家带来一些python的基本配置应该做的相关推文,帮助大家解决python的安装问题。

微信图片_20220423104030.png

在安装这个模块之后,我们就可以在编译器中引用这个模块了。

from pyecharts.charts import Bar

这里的Bar是柱状图的意思。

pyecharts的库里面有很多很多东西,我们没有必要全部引用,那样会让本来简单的程序运行起来忒慢。

模型的建立

引入了这个模块当然还不够,我们还需要数据。

数据的导入

大家还记得我们上一篇推文中生成的csv文件吗?如果已经忘了,请回去再看看上一篇推文,然后运行程序把相应的csv文件生成出来。

微信图片_20220423104034.png

那么,我现在就认为大家已经有这个csv文件了。在一个程序中,我们想要获得一个文件的数据,需要做什么?想一想。

没错,就是读取这个文件。那么大家还记得读取这个文件怎么办吗?没错,就是加入pandas模块,运用pandas的函数来进行文件的读取。

import pandas as pd

具体怎么读取呢?和之前的也是一模一样。

path_data=pd.read_csv(r'F:\my python\123.csv')

这些在上一篇推文中都已经很详细的介绍过了,这一次就不多说了。要是忘了记得回去看看奥-

微信图片_20220423104037.jpg

图形的生成

做好了这些之后,我们正式的来介绍一下建立柱状图这个函数。

第一步,定义一个变量是bar型变量。

bar=Bar()

这一句代码的意思就是使bar为Bar型变量。接下里就是为这个变量赋x轴值和y轴值。

bar.add_xaxis(path_data['地点'].tolist())
bar.add_yaxis('用时',path_data['time'].tolist())
bar.add_yaxis('距离',path_data['distance'].tolist())

让我们一句一句研究代码。第一句,函数为add_xaxis(),就是添加x轴数据,给x轴添加什么数据呢?Path_data中的‘出发时间’这一列数据。

在这个位置我们要注意,划重点,一定要注意,在后面加上.tolist()。

因为path_data是最开始读取csv文件的,里面的数据储存形式和csv形式保持一致,所以我们要把她转化为python中列表的形式,即使用.tolist这个函数,否则的话在这个位置添加x轴值是不起任何作用的。

微信图片_20220423104039.png现在有了第一句的基础,理解第二句就不困难了,但是x轴和y轴的赋值形式任然有一些差别,这是为什么呢?

其实这是给我们赋的y值起一个名字,当然这个位置不起名字也可以,但是如果如果你有多个y值的时候就会产生意思分歧。

这是啥意思?看下面的图就知道了。

微信图片_20220423104042.png

Pyecharts是支持使用多个y值的。

比如这个图里面,我们就使用了商家A和商家B两个y值名称,为了便于分辨,所以我的建议是取一个名字。

在最后,x值赋好了,y值赋好了,输入代码。

bar.render()

即可在当前python文件所在的目录下面看到一个html文件,点进去就可以看到我们所制作的图表了。

微信图片_20220423104044.png

当然括号里面还可以填生成文件的名字和生成的地址,这些都是可以修改的。

因为当前我们只需要生成这一个文件,当前目录下也没有别的render文件,所以我们就省略了这个步骤。

现在回到我们当前的文件,打开新生成的文件,就可以看到我们刚刚做的图表啦。

微信图片_20220423104048.png刚刚生成的图

但是,大家看到自己的图表是不是感觉有一点空荡荡的,不够酷炫?

不要着急,继续往下面看,我们还有进阶教程~

加点更炫的

想要使用更加酷炫的功能,我们需要再加入两个模块。

from pyecharts import options as opts  # 导入配置模块
from pyecharts.globals import ThemeType

这两个模块是pyecharts专门提供给使用者对图表进行进一步完善。

微信图片_20220423104051.jpg

比如说,你对这个图表的整体颜色有要求,不想是原来的白色,你可以在最开始建立bar的时候这样写。

bar=Bar(init_opts=opts.InitOpts(theme=ThemeType.PURPLE_PASSION,width='1280px',height='720px'))

Init_opts=opts.InitOpts()函数是给这个图表设置一些初始参数,比如说背景的颜色,分辨率等等的。

想设置主题色就用以下代码。

theme=themeType.xxxx

这个xxx就是主题的颜色,我在这里写的是紫色,当然还有其他的颜色,看客老爷可以自己去官网进行了解。后面分辨率的参数看客老爷可以根据自己需要进行调整。

这些是在建立图表的时候进行的一些配置,那么在输入数据以后,我们可以进行哪些步骤?

bar.set_global_opts(title_opts=opts.TitleOpts(title='武汉各高校之间的距离与乘车所需时间',subtitle='副标题'
),xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=60)),datazoom_opts=[opts.DataZoomOpts()])

我们可以使用set_global_opts函数进行我们所需要的个性化设置。

比如说主标题啊,副标题啊,x值的旋转角度啊,是否有滑块,等等配置。那实例给大家举一下例子看看这些具体指的什么。

微信图片_20220423104054.png主副标题

在这个图表中左上角的就是我的主标题,下面的就是我的副标题。

微信图片_20220423104057.pngx值的旋转角度

X值倾斜的角度我们在这个图片里也可以很清晰的看出来,当前旋转的角度是60度,这个角度的旋转范围是-90°到90°。

微信图片_20220423104100.png滑块功能

滑块就在最下面,那个可以滑动的东西。

因为有的时候可能数据太多,放在一个页面里看起来太拥挤,这是我们可以用滑块这个功能,使得我们的图形更加分散,便于观察。

微信图片_20220423104103.jpg最终的效果

写在最后

当然,关于pyecharts的使用实例还有很多很多,各位看客老爷如果有兴趣可以自己去pyecharts的官网进行学习,这个项目是百度研发的,官网是中文的,还有十分详细的教程免费提供,所以小玮在这里就不多说了。

微信图片_20220423104106.jpg

在这个位置,我们已经完成了数据的爬取和做成图表。

当然,这和老师吩咐的任务完成还有一定的距离,我们没有统计时间,因为最近由于肺炎,道路没有发生拥堵,统计时间发现并没有明显的变化,最终结果趋于一根平行x轴的直线。

所以就不在这里讲解时间的统计和回归分析的步骤了。等一切恢复正常了以后,会专门再写一篇推文介绍。

最近的肺炎如此严重,各位看客老爷们一定要注意防护!

跟着小玮,带你一步一步走进数据结构和爬虫的世界。

代码可以在后台回复 PC02 获取微信图片_20220423104109.png

相关文章
|
SQL 关系型数据库 数据库
Python SQLAlchemy模块:从入门到实战的数据库操作指南
免费提供Python+PyCharm编程环境,结合SQLAlchemy ORM框架详解数据库开发。涵盖连接配置、模型定义、CRUD操作、事务控制及Alembic迁移工具,以电商订单系统为例,深入讲解高并发场景下的性能优化与最佳实践,助你高效构建数据驱动应用。
1249 7
|
数据可视化 关系型数据库 MySQL
基于python大数据的的海洋气象数据可视化平台
针对海洋气象数据量大、维度多的挑战,设计基于ECharts的可视化平台,结合Python、Django与MySQL,实现数据高效展示与交互分析,提升科研与决策效率。
|
数据采集 Web App开发 数据安全/隐私保护
实战:Python爬虫如何模拟登录与维持会话状态
实战:Python爬虫如何模拟登录与维持会话状态
|
数据采集 Web App开发 数据可视化
Python零基础爬取东方财富网股票行情数据指南
东方财富网数据稳定、反爬宽松,适合爬虫入门。本文详解使用Python抓取股票行情数据,涵盖请求发送、HTML解析、动态加载处理、代理IP切换及数据可视化,助你快速掌握金融数据爬取技能。
8739 1
|
Java 数据挖掘 数据处理
(Pandas)Python做数据处理必选框架之一!(一):介绍Pandas中的两个数据结构;刨析Series:如何访问数据;数据去重、取众数、总和、标准差、方差、平均值等;判断缺失值、获取索引...
Pandas 是一个开源的数据分析和数据处理库,它是基于 Python 编程语言的。 Pandas 提供了易于使用的数据结构和数据分析工具,特别适用于处理结构化数据,如表格型数据(类似于Excel表格)。 Pandas 是数据科学和分析领域中常用的工具之一,它使得用户能够轻松地从各种数据源中导入数据,并对数据进行高效的操作和分析。 Pandas 主要引入了两种新的数据结构:Series 和 DataFrame。
871 0
|
JSON 算法 API
Python采集淘宝商品评论API接口及JSON数据返回全程指南
Python采集淘宝商品评论API接口及JSON数据返回全程指南
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
数据采集 运维 监控
爬虫与自动化技术深度解析:从数据采集到智能运维的完整实战指南
本文系统解析爬虫与自动化核心技术,涵盖HTTP请求、数据解析、分布式架构及反爬策略,结合Scrapy、Selenium等框架实战,助力构建高效、稳定、合规的数据采集系统。
1570 62
爬虫与自动化技术深度解析:从数据采集到智能运维的完整实战指南
|
数据采集 机器学习/深度学习 人工智能
反爬虫机制深度解析:从基础防御到高级对抗的完整技术实战
本文系统阐述了反爬虫技术的演进与实践,涵盖基础IP限制、User-Agent检测,到验证码、行为分析及AI智能识别等多层防御体系,结合代码实例与架构图,全面解析爬虫攻防博弈,并展望智能化、合规化的发展趋势。
3427 62
反爬虫机制深度解析:从基础防御到高级对抗的完整技术实战
|
传感器 运维 前端开发
Python离群值检测实战:使用distfit库实现基于分布拟合的异常检测
本文解析异常(anomaly)与新颖性(novelty)检测的本质差异,结合distfit库演示基于概率密度拟合的单变量无监督异常检测方法,涵盖全局、上下文与集体离群值识别,助力构建高可解释性模型。
789 10
Python离群值检测实战:使用distfit库实现基于分布拟合的异常检测

推荐镜像

更多