python处理NetCDF格式文件

简介: python处理NetCDF格式文件

ncdump可以查看NetCDF文件中的变量和属性等信息,ncview,panoply可以对NetCDF文件中的变量进行简单的可视化,如果需要对NetCDF文件进行裁剪,算术运算或者插值等操作,可以使用nco或cdo等工具。复杂的数据处理工作和二维可视化可以使用matlab,python或NCL,三维可视化可以使用VisAD,Vis5d,IDV等。

处理nc文件的工具很多,此次仅利用python来讲一下如何处理nc文件。目前Python中最受欢迎的处理NetCDF数据的库是netCDF4-python。此外,scipy.io模块也提供了NetCDF文件接口,可以用来读取NetCDF文件。

以netCDF4-python为例。以下代码给出了完整的数据读取和绘图部分

# load library
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

import cartopy.crs as ccrs
from cartopy.mpl.ticker import LongitudeFormatter, LatitudeFormatter
from cartopy.util import add_cyclic_point
from palettable.colorbrewer.diverging import RdBu_11_r 
import netCDF4 as nc

sns.set_context('talk', font_scale=1.2) # 设置图形属性

# read NetCDF file
fn = 'air.sig995.2012.nc'
data = nc.Dataset(fn, 'r') # 默认为读文件,此处 'r' 可省略

# 读取相关变量
lat = data.variables['lat'][:].data  #lat=(data.variables['lat'][:]);对比差异,外部括号
lon = data.variables['lon'][:].data
time = data.variables['time'][:].data
air = data.variables['air'][:].data

# 添加数据循环,以防止在0和360时出现白色条状
# 添加数据循环和不添加数据循环的效果见后文两张图
cycle_air, cycle_lon = add_cyclic_point(air, coord=lon)
cycle_LON, cycle_LAT = np.meshgrid(cycle_lon, lat)

projection = ccrs.PlateCarree() # 设置投影
fig, ax = plt.subplots(figsize=(16, 9), subplot_kw=dict(projection=projection))

con = ax.contourf(cycle_LON, cycle_LAT, cycle_air[0, ...], 
                 np.arange(220, 321), cmap=RdBu_11_r.mpl_colormap)

ax.coastlines(linewidth=1.5) # 添加海岸线
ax.set_xticks(np.arange(-180, 181, 60), crs=projection)
ax.set_yticks(np.arange(-90, 91, 30), crs=projection)

# 设置 ticklabels 格式
lon_formatter = LongitudeFormatter(number_format='.0f',
                                  degree_symbol='',
                                  dateline_direction_label=True)
lat_formatter = LatitudeFormatter(number_format='.0f',
                                 degree_symbol='')

ax.xaxis.set_major_formatter(lon_formatter)
ax.yaxis.set_major_formatter(lat_formatter)

# shrink 控制 colorbar 长度,pad 控制colorbar和图的距离
cb = fig.colorbar(con, shrink=0.73, pad=0.02)

# 调整 ticklabels
cb.set_ticks(np.arange(220, 321, 20))
cb.set_ticklabels(np.arange(220, 321, 20))

cb.ax.tick_params(direction='in', length=5) # 控制 colorbar tick

# 保存文件, dpi用于设置图形分辨率, bbox_inches 尽量减小图形的白色区域
fig.savefig('test.png', dpi=300, bbox_inches='tight')
上述导入的库:

numpy :用于生成标签数组

matplotlib :用于绘图

seaborn :用于设置合适的图形参数,关于seaborn见 Python简单高效的可视化神器——Seaborn

palettable :用于设置colormap

cartopy :添加地理图形信息

netCDF4 :读取netcdf格式文件

自己的示例

# -*- coding:utf-8 -*-
# @author:Ye Zhoubing
# @datetime:2022/10/17 13:46
# @software: PyCharm
from netCDF4 import Dataset
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import xlwt

file = r"C:\Users\32649\Desktop\discharge_dailyTot_1220_output.nc"

data = Dataset(file, 'r') # 读取nc文件,默认就是读,这里r可以省略

# print(data) # 可以查看到变量
# 读取相关变量
lat = data.variables['lat'][:].data  # 读取纬度
lon = data.variables['lon'][:].data  # 读取经度
time = data.variables['time'][:].data   # 读取时间
discharge = data.variables['discharge'][:].data   # 读取流量,流量discharge三维,分别为层数(时间),纬度、经度

# """绘图,在这里会出现一些问题,NaN影响结果,单位达到10的20次方,显然是不可能的"""
# # 用matlab绘图
# # plt对流量discharge作图
# plt.contourf(lon, lat, discharge[10, :, :]) # 绘制第10层的discharge图
# plt.colorbar(label="discharge", orientation="horizontal") # orientation="horizontal" 表示水平放置
# plt.show()

# 提取出某个格点的流量,假设77 156(即78 157)
start_date = "20120101"
end_date = "20201231"
X = pd.date_range(start_date, end_date).strftime("%Y-%m-%d").tolist() # to_list()将ndarray转换为list,np.round()指定保留小数
# 注意,下面的Y保留两位小数后转换为数组时不要写tolist(),要写list()
"""
直接使用Y = list(np.round(discharge[:, 77, 156],2))会有问题,保存的列表的元素是ndarray,而tolist()保留两位小数会失效
"""
Y = discharge[:, 77, 156] # Y就是在从0开始数的横坐标77个数据(纬度),纵坐标155个数据(经度)的每日流量
Y1 = Y.tolist()
Y2 = np.array(Y1)
Y3 = np.round(Y2,2)
Y4 = list(Y3)
plt.plot(X,Y4)
plt.show()
"""保存数据为xls"""

workbook = xlwt.Workbook()
worksheet = workbook.add_sheet("日均流量", cell_overwrite_ok=True)

title = ['时间','日平均流量']
for j in range(0,len(title)): # range左闭右开
    worksheet.write(0, j, title[j])
for i in range(0, len(X)):
    worksheet.write(i+1, 0, X[i])
    worksheet.write(i+1, 1, Y4[i])

workbook.save("discharge.xls")
print('discharge over')

python得到nc文件中的时间数据

val_data = file.variables['time'][:].data
times = nc.num2date(val_data,time.units)
times[:]

例子:

waterBodyStorage_file = r"C:\Users\32649\Desktop\nc\to_be_inspected\waterBodyStorage_monthEnd_output.nc"
reservoir_mask = r"C:\Users\32649\Desktop\nc\to_be_inspected\yangze_waterBodies5ArcMin.nc"  # 这是裁剪后的文件
data1 = Dataset(waterBodyStorage_file, 'r')
data2 = Dataset(reservoir_mask, 'r')
val_data = data1.variables['lake_and_reservoir_storage'][:].data
val_times = data1.variables['time']
times = netCDF4.num2date(val_times[:],val_times.units).data

python对netcdf文件按shp进行裁剪

# -*- coding:utf-8 -*-
# @author:Ye Zhoubing
# @datetime:2023/1/5 9:45
# @software: PyCharm
"""
按流域进行nc文件的裁剪,即对nc文件进行不规则裁剪
这里以裁剪出长江流域为例
"""
#先导入必要的库
import xarray
import rioxarray
import geopandas
from shapely.geometry import mapping

#使用xarray打开你的nc文件
xds = xarray.open_dataset(r"C:\Users\32649\Desktop\nc\to_be_inspected\yangze_waterBodies5ArcMin.nc")
#查看变量字段
print(xds)

#根据你的字段调整这里的内容
xds = xds[['waterBodyTyp']].transpose('time', 'lat', 'lon') # 'waterBodyTyp' 'time' 'lat' 'lon'都是根据你的nc确定的
# xds = xds[['waterBodyTyp', 'fracWaterInp']].transpose('time', 'lat', 'lon') # 保存多个变量
# xds = xds.transpose('time', 'lat', 'lon') # 保存所有变量
xds.rio.set_spatial_dims(x_dim="lon", y_dim="lat", inplace=True) # 会多添加一个spatial变量
xds.rio.write_crs("EPSG:4326", inplace=True) # 坐标参考系统CRS设为WGS84(投影格式为为WGS84对应的 EPSG编码:4326 )


#加载shp文件
geodf = geopandas.read_file(r"C:\Users\32649\Desktop\arcgis_data\changjiangt.shp")
#利用shp裁剪
clipped = xds.rio.clip(geodf.geometry.apply(mapping), geodf.crs)
#将文件保存为nc格式
clipped.to_netcdf('test.nc', mode='w', format="NETCDF4") # 生成的文件便只有'waterBodyTyp'这一个变量
目录
相关文章
|
数据可视化 Linux iOS开发
Python脚本转EXE文件实战指南:从原理到操作全解析
本教程详解如何将Python脚本打包为EXE文件,涵盖PyInstaller、auto-py-to-exe和cx_Freeze三种工具,包含实战案例与常见问题解决方案,助你轻松发布独立运行的Python程序。
2798 2
|
监控 机器人 编译器
如何将python代码打包成exe文件---PyInstaller打包之神
PyInstaller可将Python程序打包为独立可执行文件,无需用户安装Python环境。它自动分析代码依赖,整合解释器、库及资源,支持一键生成exe,方便分发。使用pip安装后,通过简单命令即可完成打包,适合各类项目部署。
2249 68
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
507 5
|
机器学习/深度学习 存储 算法
解锁文件共享软件背后基于 Python 的二叉搜索树算法密码
文件共享软件在数字化时代扮演着连接全球用户、促进知识与数据交流的重要角色。二叉搜索树作为一种高效的数据结构,通过有序存储和快速检索文件,极大提升了文件共享平台的性能。它依据文件名或时间戳等关键属性排序,支持高效插入、删除和查找操作,显著优化用户体验。本文还展示了用Python实现的简单二叉搜索树代码,帮助理解其工作原理,并展望了该算法在分布式计算和机器学习领域的未来应用前景。
|
Python
使用Python实现multipart/form-data文件接收的http服务器
至此,使用Python实现一个可以接收 'multipart/form-data' 文件的HTTP服务器的步骤就讲解完毕了。希望通过我的讲解,你可以更好地理解其中的逻辑,另外,你也可以尝试在实际项目中运用这方面的知识。
829 69
|
编译器 Python
如何利用Python批量重命名PDF文件
本文介绍了如何使用Python提取PDF内容并用于文件重命名。通过安装Python环境、PyCharm编译器及Jupyter Notebook,结合tabula库实现PDF数据读取与处理,并提供代码示例与参考文献。
|
编译器 Python
如何利用Python批量重命名文件
本文介绍了如何使用Python和PyCharm对文件进行批量重命名,包括文件名前后互换、按特定字符调整顺序等实用技巧,并提供了完整代码示例。同时推荐了第三方工具Bulk Rename Utility,便于无需编程实现高效重命名。适用于需要处理大量文件命名的场景,提升工作效率。
|
编解码 Prometheus Java
当Python同时操作1000个文件时,为什么你的CPU只用了10%?
本文介绍如何构建一个高效的文件处理系统,解决单线程效率低、多线程易崩溃的矛盾。通过异步队列与多线程池结合,实现任务调度优化,提升I/O密集型操作的性能。
455 4
|
人工智能 索引 Python
[oeasy]python094_使用python控制音符列表_midi_文件制作
本文介绍了如何使用Python控制音符列表制作MIDI文件。首先回顾了列表下标索引(正数和负数)的用法,接着通过`mido`库实现MIDI文件生成。以《两只老虎》为例,详细解析了代码逻辑:定义音高映射、构建旋律列表、创建MIDI文件框架,并将音符插入音轨。还探讨了音符时值与八度扩展的实现方法。最终生成的MIDI文件可通过不同平台播放或编辑。总结中提到,此技术可用于随机生成符合调性的旋律,同时引发对列表其他实际应用的思考。
828 5
|
缓存 数据可视化 Linux
Python文件/目录比较实战:排除特定类型的实用技巧
本文通过四个实战案例,详解如何使用Python比较目录差异并灵活排除特定文件,涵盖基础比较、大文件处理、跨平台适配与可视化报告生成,助力开发者高效完成目录同步与数据校验任务。
446 0

推荐镜像

更多