Python数据可视化------下载数据

简介: Python数据可视化------下载数据

CSV文件格式:

要在文本文件中存储数据,一个简单的方式是将数据作为一系列以逗号分隔的值(comma——separated)写入文件。这样的文件称为CSV文件。


举例:

USWA,weather,01,02
aaa,bbb,ccc,02,04

阅读CSV文件对于我们来说不宜阅读,但使用程序进行处理会很简单。

分析文件头:

import csv#csv模块是包含在Python标准库中 ,可用于分析CSV文件中的数据行
#使用我们之前学过的文件操作的内容打开文件
filename='sitka_weather_07-2018_simple.csv'
with open(filename) as f:
    reader=csv.reader(f)#调用csv.reader()并将存储的文件作为实参传递给它
    #为了创建一个与该文件相关联的阅读器对象
    header_row=next(reader)#next()函数,返回文件中的下一行
    #由于只调用了一次next()函数,因此得到的是文件的第一行
    print(header_row)

输出结果为该文件的文件头:

reader处理文件中以逗号分隔的第一行数据,并将每项数据都作为一个元素存储在列表中。

['STATION', 'NAME', 'DATE', 'PRCP', 'TAVG', 'TMAX', 'TMIN']

打印文件头及其位置:

为了让文件数据更加容易理解,现在我们将每个文件头及其位置打印出来:

import csv
filename='sitka_weather_07-2018_simple.csv'
with open(filename) as f:
    reader=csv.reader(f)
    header_row=next(reader)
    #调用enumerate()来获取每个元素的索引及其值
    for index,column_header in enumerate(header_row):
        print(index,column_header)

输出每个文件头的索引:

0 STATION
1 NAME
2 DATE
3 PRCP
4 TAVG
5 TMAX
6 TMIN

从输出的索引内容可得,名称在第二行,它的索引值为1,日期在第三行,它的索引值为2等等。

提取并读取文件:

假设现在我们想要读取每天的最高气温:

import csv
filename='sitka_weather_07-2018_simple.csv'
with open(filename) as f:
    reader=csv.reader(f)
    header_row=next(reader)
    highs=[]#用来存储我们读取的数据
    for row in reader:#遍历CSV文件剩下的部分
    #由于上面我们已经读取了文件的第一行,所以阅读器将从上次停留的地方继续往下读,也就是第二行开始
        high=int(row[5])#每次读取文件的索引值为5的那部分
        highs.append(high)
print(highs)

如下所示,我们输出了文件索引值为5的部分,也确实是最高温度。


[62, 58, 70, 70, 67, 59, 58, 62, 66, 59, 56, 63, 65, 58, 56, 59, 64,
 60, 60, 61, 65, 65, 63, 59, 64, 65, 68, 66, 64, 67, 65]

绘制温度图表:

前面我们学习了Matplotlib,现在我们就可以可视化这些温度数据。

举例:

import csv
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
filename = 'sitka_weather_07-2018_simple.csv'
with open(filename) as f:
   ---snip---
plt.style.use("seaborn")#根据最高温度绘制图表
fig, ax = plt.subplots()
ax.plot(highs, c="red")
#设置横纵坐标标签等
ax.set_title("2018年7月每日最高温度",fontsize=24)
ax.set_xlabel('',fontsize=16)
ax.set_ylabel('温度(F)',fontsize=16)
ax.tick_params(axis='both',which='major',labelsize=16)
plt.show()

输出效果如下图所示:

图片呈现给我们的内容并不是完美的,它只是反映出了温度的变化趋势,而并没有表明某日期对应的相关温度。

下面我们就对其进行优化,给它添加日期,在添加之前,我们先来学习模块datetime


模块datetime:

from datetime import datetime#导入日期模块中的datetime类
first_date=datetime.strptime("2018-07-01","%Y-%m-%d")#方法strptime是将包含日期的字符串作为第一个参数,而第二个参数表明日期的格式
print(first_date)

输出结果如下:

2018-07-01 00:00:00

方法strptime()可接受各种实参,并且可根据实参来解读对应的日期:

如下图所示:

在图表中添加日期:

import csv
from datetime import datetime
import matplotlib.pyplot as plt
import matplotlib
plt.style.use('seaborn')
plt.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['font.family']='sans-serif'
filename = 'sitka_weather_07-2018_simple.csv'
with open(filename) as f:
    reader = csv.reader(f)
    header_row = next(reader)
    dates,highs = [],[]  # 用来存储我们读取的数据
    for row in reader:  # 遍历CSV文件剩下的部分
        # 由于上面我们已经读取了文件的第一行,所以阅读器将从上次停留的地方继续往下读,也就是第二行开始
        current_date=datetime.strptime(row[2],"%Y-%m-%d")
        high=int(row[5])
        dates.append(current_date)
        highs.append(high)
fig,ax = plt.subplots()
ax.plot(dates,highs, c="red")
ax.set_title("2018年7月每日最高温度",fontsize=24)
ax.set_xlabel('',fontsize=16)
fig.autofmt_xdate()
ax.set_ylabel("温度(F)",fontsize=16)
ax.tick_params(axis='both',which='major',labelsize=16)
plt.show()

涵盖更长的时间:

上面我们可视化的数据为7月份一个月的天气,现在我们尝试可视化一整年的数据:

---snip---
filename = 'sitka_weather_2018_simple.csv'#打开覆盖一整年数据的文件
with open(filename) as f:
    reader = csv.reader(f)
    header_row = next(reader)
    highs = [] # 用来存储我们读取的数据
    for row in reader:  # 遍历CSV文件剩下的部分
        # 由于上面我们已经读取了文件的第一行,所以阅读器将从上次停留的地方继续往下读,也就是第二行开始
        high=int(row[5])
        highs.append(high)
fig,ax = plt.subplots()
ax.plot(highs, c="red")
ax.set_title("2018年每日最高温度",fontsize=24)
---snip---

如下图所示,输出一整年的温度数据。

数据系列结合:

上面我们对2018一整年的最高温度数据进行可视化,为了能够更加了解一整年的温度情况,我们可以尝试将最低温度和最高温度数据结合,进行可视化分析:



对上述代码增加读取最低温度部分的代码,再修改图像的标签即可。

        low=int(row[6])
        lows.append(low)
ax.plot(dates,lows, c="blue")
ax.set_title("2018年7月每日最高温度与最低温度",fontsize=24)

输出如下图所示:

给图表区域着色:

---snip---
#alpha指定颜色的透明度,等于零为完全透明,等于1为完全不透明
ax.plot(dates,highs, c="red",alpha=0.5)
ax.plot(dates,lows, c="blue",alpha=0.5)
ax.fill_between(dates,highs,lows,facecolor='blue',alpha=0.1)#调用fill__between()函数,该函数的作用是填充两条水平曲线之间的区域
#fill__betweenx()函数的作用是填充两条垂直曲线之间的区域
---snip---

错误检查:

在对天气的数据进行可视化时,我们应做到让任意地方的天气能够运行我们编写的代码,从而使任何地方的天气数据都能进行可视化,但是,在收集数据的过程中,我们很难保证数据的种类等是一致的,比如,信心的不完整或缺损都可能会引发异常。

举例:

import csv
from datetime import datetime
import matplotlib.pyplot as plt
import matplotlib
filename="death_valley_2018_simple.csv"
with open(filename) as f:
    reader=csv.reader(f)
    header_row=next(reader)
    dates,highs,lows=[],[],[]
    for row in reader:
        current_date=datetime.strptime(row[2],"%Y-%m-%d")
        high=int(row[4])
        low=int(row[5])
        dates.append(current_date)
for index,conlumn_header in enumerate(header_row):
    print(index,conlumn_header)

程序并没有正确运行,编译器报告给我们无法处理其中一天的最高温度,原因是无法将空字符串(‘ ’)转化为整数。

Traceback (most recent call last):
  File "C:/Users/Lenovo/PycharmProjects/pythonProject4/project1.py", line 42, in <module>
    high=int(row[4])
ValueError: invalid literal for int() with base 10: ''

而当我们打开这个文件就可以找到文件中确实缺失了一些数据。

既然我们发现异常,就要想办法去处理它,处理它的办法即为我们之前学过的try-except-else代码块。

处理异常:

---snip---
    for row in reader:
        current_date=datetime.strptime(row[2],"%Y-%m-%d")
        #对异常进行处理
        try:
            high=int(row[4])
            low=int(row[5])
        except ValueError:
            print(f"Missing data for{current_date}")
        else:
            dates.append(current_date)
            highs.append(high)
            lows.append(low)
 #描绘图表内容
title="2018年每日最高温度和最低温度\n美国加利福尼亚州死亡谷"
fig,ax = plt.subplots()
ax.plot(dates,highs, c="red",alpha=0.5)
ax.plot(dates,lows, c="blue",alpha=0.5)
ax.fill_between(dates,highs,lows,facecolor='blue',alpha=0.1)
ax.set_title(title,fontsize=20)
ax.set_xlabel('',fontsize=16)
plt.show()

当我们对该异常进行处理之后,输出结果如下:

此时编译器并没有直接报错,而是给我们指出缺少2018年2-18日这一天的数据。

Missing data for2018-02-18 00:00:00

使用try-except-else代码块对异常进行处理后,代码将忽略该天的异常,而生成除了该天以外的图像。

相关文章
|
10天前
|
数据可视化 数据挖掘 定位技术
Python和Geopandas进行地理数据可视化
【10月更文挑战第22天】本文介绍了如何使用Python和Geopandas进行地理数据可视化和分析,涵盖从准备工作、加载数据、数据探索与处理、地理数据可视化、空间分析与查询到交互式地理数据可视化等内容。通过丰富的代码示例和案例演示,帮助读者掌握地理数据分析的基本方法,为实际应用提供支持。
50 19
|
6天前
|
移动开发 数据可视化 数据挖掘
利用Python实现数据可视化:以Matplotlib和Seaborn为例
【10月更文挑战第37天】本文旨在引导读者理解并掌握使用Python进行数据可视化的基本方法。通过深入浅出的介绍,我们将探索如何使用两个流行的库——Matplotlib和Seaborn,来创建引人入胜的图表。文章将通过具体示例展示如何从简单的图表开始,逐步过渡到更复杂的可视化技术,帮助初学者构建起强大的数据呈现能力。
|
9天前
|
图形学 Python
SciPy 空间数据2
凸包(Convex Hull)是计算几何中的概念,指包含给定点集的所有凸集的交集。可以通过 `ConvexHull()` 方法创建凸包。示例代码展示了如何使用 `scipy` 库和 `matplotlib` 绘制给定点集的凸包。
19 1
|
10天前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
11天前
|
数据采集 Web App开发 iOS开发
如何使用 Python 语言的正则表达式进行网页数据的爬取?
使用 Python 进行网页数据爬取的步骤包括:1. 安装必要库(requests、re、bs4);2. 发送 HTTP 请求获取网页内容;3. 使用正则表达式提取数据;4. 数据清洗和处理;5. 循环遍历多个页面。通过这些步骤,可以高效地从网页中提取所需信息。
|
22天前
|
数据可视化 数据挖掘 Python
使用Python进行数据可视化:探索与实践
【10月更文挑战第21天】本文旨在通过Python编程,介绍如何利用数据可视化技术来揭示数据背后的信息和趋势。我们将从基础的图表创建开始,逐步深入到高级可视化技巧,包括交互式图表和动态展示。文章将引导读者理解不同图表类型适用的场景,并教授如何使用流行的库如Matplotlib和Seaborn来制作美观且具有洞察力的可视化作品。
44 7
|
21天前
|
数据可视化 定位技术 Python
使用Python进行数据可视化
【10月更文挑战第22天】在这篇文章中,我们将深入探讨如何使用Python进行数据可视化。我们将从基础的图表开始,然后逐步进入更复杂的可视化技术。我们将通过实例代码来展示如何实现这些可视化,以便读者能够更好地理解和应用这些技术。
20 5
|
22天前
|
数据可视化 Python
使用Python进行数据可视化的初学者指南
【10月更文挑战第20天】本文旨在为编程新手提供一个简洁明了的入门指南,通过Python语言实现数据可视化。我们会介绍如何安装必要的库、理解数据结构,并利用这些知识来创建基本图表。文章将用通俗易懂的语言和示例代码,帮助读者快速掌握数据可视化的基础技能。
30 4
|
23天前
|
数据可视化 算法 JavaScript
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
本文探讨了如何利用图论分析时间序列数据的平稳性和连通性。通过将时间序列数据转换为图结构,计算片段间的相似性,并构建连通图,可以揭示数据中的隐藏模式。文章介绍了平稳性的概念,提出了基于图的平稳性度量,并展示了图分区在可视化平稳性中的应用。此外,还模拟了不同平稳性和非平稳性程度的信号,分析了图度量的变化,为时间序列数据分析提供了新视角。
51 0
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
|
9天前
|
索引 Python
SciPy 空间数据1
SciPy 通过 `scipy.spatial` 模块处理空间数据,如判断点是否在边界内、计算最近点等。三角测量是通过测量角度来确定目标距离的方法。多边形的三角测量可将其分解为多个三角形,用于计算面积。Delaunay 三角剖分是一种常用方法,可以对一系列点进行三角剖分。示例代码展示了如何使用 `Delaunay()` 函数创建三角形并绘制。
19 0