python处理NetCDF格式文件

简介: python处理NetCDF格式文件

ncdump可以查看NetCDF文件中的变量和属性等信息,ncview,panoply可以对NetCDF文件中的变量进行简单的可视化,如果需要对NetCDF文件进行裁剪,算术运算或者插值等操作,可以使用nco或cdo等工具。复杂的数据处理工作和二维可视化可以使用matlab,python或NCL,三维可视化可以使用VisAD,Vis5d,IDV等。

处理nc文件的工具很多,此次仅利用python来讲一下如何处理nc文件。目前Python中最受欢迎的处理NetCDF数据的库是netCDF4-python。此外,scipy.io模块也提供了NetCDF文件接口,可以用来读取NetCDF文件。

以netCDF4-python为例。以下代码给出了完整的数据读取和绘图部分

# load library
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

import cartopy.crs as ccrs
from cartopy.mpl.ticker import LongitudeFormatter, LatitudeFormatter
from cartopy.util import add_cyclic_point
from palettable.colorbrewer.diverging import RdBu_11_r 
import netCDF4 as nc

sns.set_context('talk', font_scale=1.2) # 设置图形属性

# read NetCDF file
fn = 'air.sig995.2012.nc'
data = nc.Dataset(fn, 'r') # 默认为读文件,此处 'r' 可省略

# 读取相关变量
lat = data.variables['lat'][:].data  #lat=(data.variables['lat'][:]);对比差异,外部括号
lon = data.variables['lon'][:].data
time = data.variables['time'][:].data
air = data.variables['air'][:].data

# 添加数据循环,以防止在0和360时出现白色条状
# 添加数据循环和不添加数据循环的效果见后文两张图
cycle_air, cycle_lon = add_cyclic_point(air, coord=lon)
cycle_LON, cycle_LAT = np.meshgrid(cycle_lon, lat)

projection = ccrs.PlateCarree() # 设置投影
fig, ax = plt.subplots(figsize=(16, 9), subplot_kw=dict(projection=projection))

con = ax.contourf(cycle_LON, cycle_LAT, cycle_air[0, ...], 
                 np.arange(220, 321), cmap=RdBu_11_r.mpl_colormap)

ax.coastlines(linewidth=1.5) # 添加海岸线
ax.set_xticks(np.arange(-180, 181, 60), crs=projection)
ax.set_yticks(np.arange(-90, 91, 30), crs=projection)

# 设置 ticklabels 格式
lon_formatter = LongitudeFormatter(number_format='.0f',
                                  degree_symbol='',
                                  dateline_direction_label=True)
lat_formatter = LatitudeFormatter(number_format='.0f',
                                 degree_symbol='')

ax.xaxis.set_major_formatter(lon_formatter)
ax.yaxis.set_major_formatter(lat_formatter)

# shrink 控制 colorbar 长度,pad 控制colorbar和图的距离
cb = fig.colorbar(con, shrink=0.73, pad=0.02)

# 调整 ticklabels
cb.set_ticks(np.arange(220, 321, 20))
cb.set_ticklabels(np.arange(220, 321, 20))

cb.ax.tick_params(direction='in', length=5) # 控制 colorbar tick

# 保存文件, dpi用于设置图形分辨率, bbox_inches 尽量减小图形的白色区域
fig.savefig('test.png', dpi=300, bbox_inches='tight')
上述导入的库:

numpy :用于生成标签数组

matplotlib :用于绘图

seaborn :用于设置合适的图形参数,关于seaborn见 Python简单高效的可视化神器——Seaborn

palettable :用于设置colormap

cartopy :添加地理图形信息

netCDF4 :读取netcdf格式文件

自己的示例

# -*- coding:utf-8 -*-
# @author:Ye Zhoubing
# @datetime:2022/10/17 13:46
# @software: PyCharm
from netCDF4 import Dataset
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import xlwt

file = r"C:\Users\32649\Desktop\discharge_dailyTot_1220_output.nc"

data = Dataset(file, 'r') # 读取nc文件,默认就是读,这里r可以省略

# print(data) # 可以查看到变量
# 读取相关变量
lat = data.variables['lat'][:].data  # 读取纬度
lon = data.variables['lon'][:].data  # 读取经度
time = data.variables['time'][:].data   # 读取时间
discharge = data.variables['discharge'][:].data   # 读取流量,流量discharge三维,分别为层数(时间),纬度、经度

# """绘图,在这里会出现一些问题,NaN影响结果,单位达到10的20次方,显然是不可能的"""
# # 用matlab绘图
# # plt对流量discharge作图
# plt.contourf(lon, lat, discharge[10, :, :]) # 绘制第10层的discharge图
# plt.colorbar(label="discharge", orientation="horizontal") # orientation="horizontal" 表示水平放置
# plt.show()

# 提取出某个格点的流量,假设77 156(即78 157)
start_date = "20120101"
end_date = "20201231"
X = pd.date_range(start_date, end_date).strftime("%Y-%m-%d").tolist() # to_list()将ndarray转换为list,np.round()指定保留小数
# 注意,下面的Y保留两位小数后转换为数组时不要写tolist(),要写list()
"""
直接使用Y = list(np.round(discharge[:, 77, 156],2))会有问题,保存的列表的元素是ndarray,而tolist()保留两位小数会失效
"""
Y = discharge[:, 77, 156] # Y就是在从0开始数的横坐标77个数据(纬度),纵坐标155个数据(经度)的每日流量
Y1 = Y.tolist()
Y2 = np.array(Y1)
Y3 = np.round(Y2,2)
Y4 = list(Y3)
plt.plot(X,Y4)
plt.show()
"""保存数据为xls"""

workbook = xlwt.Workbook()
worksheet = workbook.add_sheet("日均流量", cell_overwrite_ok=True)

title = ['时间','日平均流量']
for j in range(0,len(title)): # range左闭右开
    worksheet.write(0, j, title[j])
for i in range(0, len(X)):
    worksheet.write(i+1, 0, X[i])
    worksheet.write(i+1, 1, Y4[i])

workbook.save("discharge.xls")
print('discharge over')

python得到nc文件中的时间数据

val_data = file.variables['time'][:].data
times = nc.num2date(val_data,time.units)
times[:]

例子:

waterBodyStorage_file = r"C:\Users\32649\Desktop\nc\to_be_inspected\waterBodyStorage_monthEnd_output.nc"
reservoir_mask = r"C:\Users\32649\Desktop\nc\to_be_inspected\yangze_waterBodies5ArcMin.nc"  # 这是裁剪后的文件
data1 = Dataset(waterBodyStorage_file, 'r')
data2 = Dataset(reservoir_mask, 'r')
val_data = data1.variables['lake_and_reservoir_storage'][:].data
val_times = data1.variables['time']
times = netCDF4.num2date(val_times[:],val_times.units).data

python对netcdf文件按shp进行裁剪

# -*- coding:utf-8 -*-
# @author:Ye Zhoubing
# @datetime:2023/1/5 9:45
# @software: PyCharm
"""
按流域进行nc文件的裁剪,即对nc文件进行不规则裁剪
这里以裁剪出长江流域为例
"""
#先导入必要的库
import xarray
import rioxarray
import geopandas
from shapely.geometry import mapping

#使用xarray打开你的nc文件
xds = xarray.open_dataset(r"C:\Users\32649\Desktop\nc\to_be_inspected\yangze_waterBodies5ArcMin.nc")
#查看变量字段
print(xds)

#根据你的字段调整这里的内容
xds = xds[['waterBodyTyp']].transpose('time', 'lat', 'lon') # 'waterBodyTyp' 'time' 'lat' 'lon'都是根据你的nc确定的
# xds = xds[['waterBodyTyp', 'fracWaterInp']].transpose('time', 'lat', 'lon') # 保存多个变量
# xds = xds.transpose('time', 'lat', 'lon') # 保存所有变量
xds.rio.set_spatial_dims(x_dim="lon", y_dim="lat", inplace=True) # 会多添加一个spatial变量
xds.rio.write_crs("EPSG:4326", inplace=True) # 坐标参考系统CRS设为WGS84(投影格式为为WGS84对应的 EPSG编码:4326 )


#加载shp文件
geodf = geopandas.read_file(r"C:\Users\32649\Desktop\arcgis_data\changjiangt.shp")
#利用shp裁剪
clipped = xds.rio.clip(geodf.geometry.apply(mapping), geodf.crs)
#将文件保存为nc格式
clipped.to_netcdf('test.nc', mode='w', format="NETCDF4") # 生成的文件便只有'waterBodyTyp'这一个变量
目录
相关文章
|
18天前
|
计算机视觉 Python
如何使用Python将TS文件转换为MP4
本文介绍了如何使用Python和FFmpeg将TS文件转换为MP4文件。首先需要安装Python和FFmpeg,然后通过`subprocess`模块调用FFmpeg命令,实现文件格式的转换。代码示例展示了具体的操作步骤,包括检查文件存在性、构建FFmpeg命令和执行转换过程。
37 7
|
3月前
|
自然语言处理 数据处理 Python
python操作和解析ppt文件 | python小知识
本文将带你从零开始,了解PPT解析的工具、工作原理以及常用的基本操作,并提供具体的代码示例和必要的说明【10月更文挑战第4天】
541 60
|
30天前
|
Python
Python格式
Python格式
25 5
|
3月前
|
安全 Linux 数据安全/隐私保护
python知识点100篇系列(15)-加密python源代码为pyd文件
【10月更文挑战第5天】为了保护Python源码不被查看,可将其编译成二进制文件(Windows下为.pyd,Linux下为.so)。以Python3.8为例,通过Cython工具,先写好Python代码并加入`# cython: language_level=3`指令,安装easycython库后,使用`easycython *.py`命令编译源文件,最终生成.pyd文件供直接导入使用。
python知识点100篇系列(15)-加密python源代码为pyd文件
|
2月前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
2月前
|
开发者 Python
Python中__init__.py文件的作用
`__init__.py`文件在Python包管理中扮演着重要角色,通过标识目录为包、初始化包、控制导入行为、支持递归包结构以及定义包的命名空间,`__init__.py`文件为组织和管理Python代码提供了强大支持。理解并正确使用 `__init__.py`文件,可以帮助开发者更好地组织代码,提高代码的可维护性和可读性。
76 2
|
3月前
|
Linux 区块链 Python
Python实用记录(十三):python脚本打包exe文件并运行
这篇文章介绍了如何使用PyInstaller将Python脚本打包成可执行文件(exe),并提供了详细的步骤和注意事项。
114 1
Python实用记录(十三):python脚本打包exe文件并运行
|
2月前
|
中间件 Docker Python
【Azure Function】FTP上传了Python Function文件后,无法在门户页面加载函数的问题
通过FTP上传Python Function至Azure云后,出现函数列表无法加载的问题。经排查,发现是由于`requirements.txt`中的依赖包未被正确安装。解决方法为:在本地安装依赖包到`.python_packages/lib/site-packages`目录,再将该目录内容上传至云上的`wwwroot`目录,并重启应用。最终成功加载函数列表。
|
3月前
|
Java Python
> python知识点100篇系列(19)-使用python下载文件的几种方式
【10月更文挑战第7天】本文介绍了使用Python下载文件的五种方法,包括使用requests、wget、线程池、urllib3和asyncio模块。每种方法适用于不同的场景,如单文件下载、多文件并发下载等,提供了丰富的选择。
|
3月前
|
数据安全/隐私保护 流计算 开发者
python知识点100篇系列(18)-解析m3u8文件的下载视频
【10月更文挑战第6天】m3u8是苹果公司推出的一种视频播放标准,采用UTF-8编码,主要用于记录视频的网络地址。HLS(Http Live Streaming)是苹果公司提出的一种基于HTTP的流媒体传输协议,通过m3u8索引文件按序访问ts文件,实现音视频播放。本文介绍了如何通过浏览器找到m3u8文件,解析m3u8文件获取ts文件地址,下载ts文件并解密(如有必要),最后使用ffmpeg合并ts文件为mp4文件。