在Python中对MySQL中的数据进行可视化

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:

本教程的所有Python代码可以在网上的IPython notebook中获取。


考虑在公司里使用Plotly?可以看一下Plotly的on-premises企业版。(注:On-premises是指软件运行在工作场所或公司内部,详见维基百科)

注意操作系统:尽管Windows或Mac用户也可以跟随本文操作,但本文假定你使用的是Ubuntu系统(Ubuntu桌面版或Ubuntu服务器版)。如果你没有Ubuntu Server,你可以通过Amazon的Web服务建立一个云平台(阅读这份教程的前半部分)。如果你用的是Mac,我们推荐你购买并下载VMware Fusion,在上面安装Ubuntu桌面版。你也可以通过Zareason购买一台便宜的预装Ubuntu桌面版/服务器版的笔记本或服务器。


使用Python读取MySQL的数据并绘图很简单,所有你需要的工具都可以免费下载。本文会展示怎么做。如果你遇到问题或者卡住了,可以给feedback@plot.ly发送邮件,也可以在本文下面评论,或者在tweeter上@plotlygraphs。

第1步:确保MySQL已安装且在运行

首先,你需要有一台安装了MySQL的计算机或服务器。你可以通过以下方法检查MySQL是否安装:打开控制台,输入“mysql”,如果你收到MySQL无法连接的错误,这意味着MySQL安装了,但是没有运行。在命令行或“Terminal”中,尝试输入sudo /etc/init.d/mysql start并按回车来启动MySQL。


如果MySQL没有安装,不要失望。在Ubuntu中下载并安装只需一行命令:

1
shell>  sudo  apt-get  install  mysql-server --fix-missing

安装过程中会让你输入一个密码。安装结束后,你可以在终端中键入以下命令进入MySQL控制台:

1
shell>  sudo  mysql -uroot -p

输入“exit”就可以退出MySQL控制台。


本教程使用MySQL经典的“world”样例数据库。如果你想跟随我们的步骤,可以在MySQL文档中心下载world数据库。你也可以在命令行中使用wget下载:

1
shell> wget http: //downloads .mysql.com /docs/world .sql.zip

然后解压文件:

1
shell> unzip world.sql.zip

(如果unzip没有安装,输入sudo apt-get install unzip安装)


现在需要把world数据库导入到MySQL,启动MySQL控制台:

1
shell>  sudo  mysql -uroot -p

进入控制台后,通过以下MySQL命令使用world.sql文件创建world数据库:

1
2
3
mysql>  CREATE  DATABASE  world;
mysql> USE world;
mysql> SOURCE /home/ubuntu/world.sql;

(在上面的SOURCE命令中,确保将路径改为你自己world.sql所在目录)。


上述操作说明摘自MySQL文档中心。

第2步:使用Python连接MySQL

使用Python连接MySQL很简单。关键得安装python的MySQLdb包。首先需要安装两项依赖:

1
2
shell>  sudo  apt-get  install  python-dev
shell>  sudo  apt-get  install  libmysqlclient-dev

然后安装Python的MySQLdb包:

1
shell>  sudo  pip  install  MySQL-python

现在,启动Python并导入MySQLdb。你可以在命令行或者IPython notebook中执行:

1
2
shell> python
>>>  import  MySQLdb

创建MySQL中world数据库的连接:

1
>>> conn  = MySQLdb.connect(host = "localhost" , user = "root" , passwd = "XXXX" , db = "world" )

cursor是用来创建MySQL请求的对象。

1
>>> cursor  =  conn.cursor()

我们将在Country表中执行查询。

第3步:Python中执行MySQL查询

cursor对象使用MySQL查询字符串执行查询,返回一个包含多个元组的元组——每行对应一个元组。如果你刚接触MySQL语法和命令,在线的MySQL参考手册是一个很不错的学习资源。

1
2
>>> cursor.execute( 'select Name, Continent, Population, LifeExpectancy, GNP from Country' );
>>> rows  =  cursor.fetchall()

rows,也就是查询的结果,是一个包含多个元组的元组,像下面这样: ((‘Aruba’, ‘North America’, 103000L, 78.4, 828.0), (‘Afghanistan’, ‘Asia’, 22720000L, 45.9, 5976.0), (‘Angola’, ‘Africa’, 12878000L, 38.3, 6648.0), (‘Anguilla’, ‘North America’, 8000L, 76.1, 63.2) …


其中的每个元组对应一行。绘成表格,看起来是像下面这样的:


NAME CONTINENT POPULATION LIFEEXPECTANCY GNP
237 Zambia Africa 9169000 37.2 3377
143 Mozambique Africa 19680000 37.5 2891
148 Malawi Africa 10925000 37.6 1687
238 Zimbabwe Africa 11669000 37.8 5951
2 Angola Africa 12878000 38.3 6648

使用Pandas的DataFrame来处理每一行要比使用一个包含元组的元组方便。下面的Python代码片段将所有行转化为DataFrame实例:

1
2
3
4
>>>  import  pandas as pd
>>> df  =  pd.DataFrame( [[ij  for  ij  in  i]  for  in  rows] )
>>> df.rename(columns = { 0 'Name' 1 'Continent' 2 'Population' 3 'LifeExpectancy' 4 : 'GNP' }, inplace = True );
>>> df  =  df.sort([ 'LifeExpectancy' ], ascending = [ 1 ]);


完整的代码可以参见IPython notebook

第4步:使用Plotly绘制MySQL数据

现在,MySQL的数据存放在Pandas的DataFrame中,可以轻松地绘图。下面的代码用来绘制国家GNP(国民生产总值)VS平均寿命的图,鼠标悬停的点会显示国家名称。确保你已经下载了Plotly的Python库。如果没有,你可以参考一下它的入门指南。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import  plotly.plotly as py
from  plotly.graph_objs  import  *
trace1  =  Scatter(
x = df[ 'LifeExpectancy' ],
y = df[ 'GNP' ],
text = country_names,
mode = 'markers'
)
layout  =  Layout(
xaxis = XAxis( title = 'Life Expectancy'  ),
yaxis = YAxis(  type = 'log' , title = 'GNP'  )
)
data  =  Data([trace1])
fig  =  Figure(data = data, layout = layout)
py.iplot(fig, filename = 'world GNP vs life expectancy' )

完整的代码在这份IPython notebook中。下面是作为一个iframe嵌入的结果图:

0?tp=webp&wxfrom=5

利用Plotly的Python用户指南中的气泡图教程,我们可以用相同的MySQL数据绘制一幅气泡图,气泡大小表示人口的多少,气泡的颜色代表不同的大洲,鼠标悬停会显示国家名称。下面显示的是作为一个iframe嵌入的气泡图。

0?tp=webp&wxfrom=5

创建这个图表以及这个博客中的所有python代码都可以从这个IPython notebook中拷贝。










本文转自 chengxuyonghu 51CTO博客,原文链接:http://blog.51cto.com/6226001001/1623312,如需转载请自行联系原作者
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
3月前
|
数据采集 Web App开发 数据可视化
Python零基础爬取东方财富网股票行情数据指南
东方财富网数据稳定、反爬宽松,适合爬虫入门。本文详解使用Python抓取股票行情数据,涵盖请求发送、HTML解析、动态加载处理、代理IP切换及数据可视化,助你快速掌握金融数据爬取技能。
2190 1
|
3月前
|
Java 数据挖掘 数据处理
(Pandas)Python做数据处理必选框架之一!(一):介绍Pandas中的两个数据结构;刨析Series:如何访问数据;数据去重、取众数、总和、标准差、方差、平均值等;判断缺失值、获取索引...
Pandas 是一个开源的数据分析和数据处理库,它是基于 Python 编程语言的。 Pandas 提供了易于使用的数据结构和数据分析工具,特别适用于处理结构化数据,如表格型数据(类似于Excel表格)。 Pandas 是数据科学和分析领域中常用的工具之一,它使得用户能够轻松地从各种数据源中导入数据,并对数据进行高效的操作和分析。 Pandas 主要引入了两种新的数据结构:Series 和 DataFrame。
540 0
|
3月前
|
JSON 算法 API
Python采集淘宝商品评论API接口及JSON数据返回全程指南
Python采集淘宝商品评论API接口及JSON数据返回全程指南
|
3月前
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
4月前
|
存储 监控 API
Python实战:跨平台电商数据聚合系统的技术实现
本文介绍如何通过标准化API调用协议,实现淘宝、京东、拼多多等电商平台的商品数据自动化采集、清洗与存储。内容涵盖技术架构设计、Python代码示例及高阶应用(如价格监控系统),提供可直接落地的技术方案,帮助开发者解决多平台数据同步难题。
|
4月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
4月前
|
JSON API 数据安全/隐私保护
Python采集淘宝评论API接口及JSON数据返回全流程指南
Python采集淘宝评论API接口及JSON数据返回全流程指南
|
4月前
|
数据采集 数据可视化 关系型数据库
基于python大数据的电影数据可视化分析系统
电影分析与可视化平台顺应电影产业数字化趋势,整合大数据处理、人工智能与Web技术,实现电影数据的采集、分析与可视化展示。平台支持票房、评分、观众行为等多维度分析,助力行业洞察与决策,同时提供互动界面,增强观众对电影文化的理解。技术上依托Python、MySQL、Flask、HTML等构建,融合数据采集与AI分析,提升电影行业的数据应用能力。

推荐镜像

更多