CSV文件格式:
要在文本文件中存储数据,一个简单的方式是将数据作为一系列以逗号分隔的值(comma——separated)写入文件。这样的文件称为CSV文件。
举例:
USWA,weather,01,02 aaa,bbb,ccc,02,04
阅读CSV文件对于我们来说不宜阅读,但使用程序进行处理会很简单。
分析文件头:
import csv#csv模块是包含在Python标准库中 ,可用于分析CSV文件中的数据行 #使用我们之前学过的文件操作的内容打开文件 filename='sitka_weather_07-2018_simple.csv' with open(filename) as f: reader=csv.reader(f)#调用csv.reader()并将存储的文件作为实参传递给它 #为了创建一个与该文件相关联的阅读器对象 header_row=next(reader)#next()函数,返回文件中的下一行 #由于只调用了一次next()函数,因此得到的是文件的第一行 print(header_row)
输出结果为该文件的文件头:
reader处理文件中以逗号分隔的第一行数据,并将每项数据都作为一个元素存储在列表中。
['STATION', 'NAME', 'DATE', 'PRCP', 'TAVG', 'TMAX', 'TMIN']
打印文件头及其位置:
为了让文件数据更加容易理解,现在我们将每个文件头及其位置打印出来:
import csv filename='sitka_weather_07-2018_simple.csv' with open(filename) as f: reader=csv.reader(f) header_row=next(reader) #调用enumerate()来获取每个元素的索引及其值 for index,column_header in enumerate(header_row): print(index,column_header)
输出每个文件头的索引:
0 STATION 1 NAME 2 DATE 3 PRCP 4 TAVG 5 TMAX 6 TMIN
从输出的索引内容可得,名称在第二行,它的索引值为1,日期在第三行,它的索引值为2等等。
提取并读取文件:
假设现在我们想要读取每天的最高气温:
import csv filename='sitka_weather_07-2018_simple.csv' with open(filename) as f: reader=csv.reader(f) header_row=next(reader) highs=[]#用来存储我们读取的数据 for row in reader:#遍历CSV文件剩下的部分 #由于上面我们已经读取了文件的第一行,所以阅读器将从上次停留的地方继续往下读,也就是第二行开始 high=int(row[5])#每次读取文件的索引值为5的那部分 highs.append(high) print(highs)
如下所示,我们输出了文件索引值为5的部分,也确实是最高温度。
[62, 58, 70, 70, 67, 59, 58, 62, 66, 59, 56, 63, 65, 58, 56, 59, 64, 60, 60, 61, 65, 65, 63, 59, 64, 65, 68, 66, 64, 67, 65]
绘制温度图表:
前面我们学习了Matplotlib,现在我们就可以可视化这些温度数据。
举例:
import csv import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] filename = 'sitka_weather_07-2018_simple.csv' with open(filename) as f: ---snip--- plt.style.use("seaborn")#根据最高温度绘制图表 fig, ax = plt.subplots() ax.plot(highs, c="red") #设置横纵坐标标签等 ax.set_title("2018年7月每日最高温度",fontsize=24) ax.set_xlabel('',fontsize=16) ax.set_ylabel('温度(F)',fontsize=16) ax.tick_params(axis='both',which='major',labelsize=16) plt.show()
输出效果如下图所示:
图片呈现给我们的内容并不是完美的,它只是反映出了温度的变化趋势,而并没有表明某日期对应的相关温度。
下面我们就对其进行优化,给它添加日期,在添加之前,我们先来学习模块datetime
模块datetime:
from datetime import datetime#导入日期模块中的datetime类 first_date=datetime.strptime("2018-07-01","%Y-%m-%d")#方法strptime是将包含日期的字符串作为第一个参数,而第二个参数表明日期的格式 print(first_date)
输出结果如下:
2018-07-01 00:00:00
方法strptime()可接受各种实参,并且可根据实参来解读对应的日期:
如下图所示:
在图表中添加日期:
import csv from datetime import datetime import matplotlib.pyplot as plt import matplotlib plt.style.use('seaborn') plt.rcParams['font.sans-serif'] = ['SimHei'] matplotlib.rcParams['font.family']='sans-serif' filename = 'sitka_weather_07-2018_simple.csv' with open(filename) as f: reader = csv.reader(f) header_row = next(reader) dates,highs = [],[] # 用来存储我们读取的数据 for row in reader: # 遍历CSV文件剩下的部分 # 由于上面我们已经读取了文件的第一行,所以阅读器将从上次停留的地方继续往下读,也就是第二行开始 current_date=datetime.strptime(row[2],"%Y-%m-%d") high=int(row[5]) dates.append(current_date) highs.append(high) fig,ax = plt.subplots() ax.plot(dates,highs, c="red") ax.set_title("2018年7月每日最高温度",fontsize=24) ax.set_xlabel('',fontsize=16) fig.autofmt_xdate() ax.set_ylabel("温度(F)",fontsize=16) ax.tick_params(axis='both',which='major',labelsize=16) plt.show()
涵盖更长的时间:
上面我们可视化的数据为7月份一个月的天气,现在我们尝试可视化一整年的数据:
---snip--- filename = 'sitka_weather_2018_simple.csv'#打开覆盖一整年数据的文件 with open(filename) as f: reader = csv.reader(f) header_row = next(reader) highs = [] # 用来存储我们读取的数据 for row in reader: # 遍历CSV文件剩下的部分 # 由于上面我们已经读取了文件的第一行,所以阅读器将从上次停留的地方继续往下读,也就是第二行开始 high=int(row[5]) highs.append(high) fig,ax = plt.subplots() ax.plot(highs, c="red") ax.set_title("2018年每日最高温度",fontsize=24) ---snip---
如下图所示,输出一整年的温度数据。
数据系列结合:
上面我们对2018一整年的最高温度数据进行可视化,为了能够更加了解一整年的温度情况,我们可以尝试将最低温度和最高温度数据结合,进行可视化分析:
对上述代码增加读取最低温度部分的代码,再修改图像的标签即可。
low=int(row[6]) lows.append(low) ax.plot(dates,lows, c="blue") ax.set_title("2018年7月每日最高温度与最低温度",fontsize=24)
输出如下图所示:
给图表区域着色:
---snip--- #alpha指定颜色的透明度,等于零为完全透明,等于1为完全不透明 ax.plot(dates,highs, c="red",alpha=0.5) ax.plot(dates,lows, c="blue",alpha=0.5) ax.fill_between(dates,highs,lows,facecolor='blue',alpha=0.1)#调用fill__between()函数,该函数的作用是填充两条水平曲线之间的区域 #fill__betweenx()函数的作用是填充两条垂直曲线之间的区域 ---snip---
错误检查:
在对天气的数据进行可视化时,我们应做到让任意地方的天气能够运行我们编写的代码,从而使任何地方的天气数据都能进行可视化,但是,在收集数据的过程中,我们很难保证数据的种类等是一致的,比如,信心的不完整或缺损都可能会引发异常。
举例:
import csv from datetime import datetime import matplotlib.pyplot as plt import matplotlib filename="death_valley_2018_simple.csv" with open(filename) as f: reader=csv.reader(f) header_row=next(reader) dates,highs,lows=[],[],[] for row in reader: current_date=datetime.strptime(row[2],"%Y-%m-%d") high=int(row[4]) low=int(row[5]) dates.append(current_date) for index,conlumn_header in enumerate(header_row): print(index,conlumn_header)
程序并没有正确运行,编译器报告给我们无法处理其中一天的最高温度,原因是无法将空字符串(‘ ’)转化为整数。
Traceback (most recent call last): File "C:/Users/Lenovo/PycharmProjects/pythonProject4/project1.py", line 42, in <module> high=int(row[4]) ValueError: invalid literal for int() with base 10: ''
而当我们打开这个文件就可以找到文件中确实缺失了一些数据。
既然我们发现异常,就要想办法去处理它,处理它的办法即为我们之前学过的try-except-else代码块。
处理异常:
---snip--- for row in reader: current_date=datetime.strptime(row[2],"%Y-%m-%d") #对异常进行处理 try: high=int(row[4]) low=int(row[5]) except ValueError: print(f"Missing data for{current_date}") else: dates.append(current_date) highs.append(high) lows.append(low) #描绘图表内容 title="2018年每日最高温度和最低温度\n美国加利福尼亚州死亡谷" fig,ax = plt.subplots() ax.plot(dates,highs, c="red",alpha=0.5) ax.plot(dates,lows, c="blue",alpha=0.5) ax.fill_between(dates,highs,lows,facecolor='blue',alpha=0.1) ax.set_title(title,fontsize=20) ax.set_xlabel('',fontsize=16) plt.show()
当我们对该异常进行处理之后,输出结果如下:
此时编译器并没有直接报错,而是给我们指出缺少2018年2-18日这一天的数据。
Missing data for2018-02-18 00:00:00
使用try-except-else代码块对异常进行处理后,代码将忽略该天的异常,而生成除了该天以外的图像。