Python提取指定时间、经度与纬度的NC数据

简介: 【2月更文挑战第15天】本文介绍基于Python语言的netCDF4库,读取.nc格式的数据文件,并提取指定维(时间、经度与纬度)下的变量数据的方法~

  本文介绍基于Python语言的netCDF4库,读取.nc格式的数据文件,并提取指定维(时间、经度与纬度)下的变量数据的方法。

  我们之前介绍过.nc格式的数据,其是NetCDF(Network Common Data Form)文件的扩展名,是一种常用的科学数据存储格式,多用于存储科学和工程领域的大型数据集。同时,在我们之前的文章Python提取出多个NC文件中的时间信息数据中,就介绍过基于netCDF4库,对一个文件夹下大量.nc格式数据文件的某一维的信息加以提取的方法。而在本文中,我们则是同样基于netCDF4库,读取.nc文件,并提取指定Dimensions,也就相当于是自变量)下的变量Variables,也就相当于是因变量)的具体数值。

  首先,我们需要配置一下netCDF4库,具体配置方法大家可以参考文章Python中h5py与netCDF4库在Anaconda的配置方法

  随后,本文所需代码如下。

# -*- coding: utf-8 -*-
"""
Created on Thu Feb 22 21:41:52 2024

@author: fkxxgis
"""

import netCDF4 as nc

nc_path = r"F:\Data_Reflectance_Rec\soil_1\2020_01.nc"
nc_data = nc.Dataset(nc_path)
print(nc_data)
time_value = nc_data.variables["time"][:]
longitude_value = nc_data.variables["lon"][:]
latitude_value = nc_data.variables["lat"][:]

# 第一种需求
time_need = 0
nc_value_1 = nc_data.variables["swvl1"][time_need, : , : ]

# 第二种需求
longitude_need = 106.467
latitude_need = 36.817
longitude_nc = (abs(longitude_value - longitude_need)).argmin()
latitude_nc = (abs(latitude_value - latitude_need)).argmin()
nc_value_2 = nc_data.variables["swvl1"][time_need, latitude_nc, longitude_nc]

  其中,我们首先导入netCDF4库,并指定要读取的.nc格式数据文件的路径nc_path;随后,使用nc.Dataset()打开这一文件,并将返回的Dataset对象存储在nc_data变量中;紧接着,通过print()打印nc_data,这将显示要读取的.nc格式数据文件的基本信息,如变量、维、属性等——这里具体打印出来的情况如下图所示。

  其中,在上图我们需要重点关注紫色框内的内容。首先,在dimensions中,我们可以看到所有的;我这里的.nc格式数据是一个表示气象的数据,所以文件中的依次就是时间、纬度与经度;随后,在variables中,我们可以看到所有的数据变量(这里的数据变量是包含了维、变量与其他参数)——其中我们重点观察数据中的因变量(也就是上图中的swvl1),需要留意一下其后不同维排序顺序,在后面我们按照提取变量数据的时候会用到。

  回到前述代码的介绍中。通过前面print()打印出来的nc_data信息,我们知道了这个.nc数据的,此时我们可以将这几个也打印出来看看。例如,time_value = nc_data.variables["time"][:]就表示将时间这个打印出来,相当于获取了全部的时间节点。

  再接下来,我们即可开始按照来提取变量。为了方便,我们就以这个.nc文件的时间维中的第一个节点对应的数据(也就是第一景数据)为例来介绍;因此,我们先将time_need设置为0,表示读取第一个时间节点的数据。在这里,我们给出了2种按照来提取变量的需求。

  首先,是第一种需求,也就是time_need = 0这一行代码的下一行。nc_data.variables["swvl1"]表示这个.nc文件中读取名为swvl1的变量的值,而后面的[time_need, :, :]表示选择指定时间下的所有经度和纬度位置的值。这些值将被存储在nc_value_1变量中,也就是说这个nc_value_1变量相当于就是当前这个.nc文件的第一景数据(时间节点排在第一位的数据)。

  其次,是第二种需求。前面我们提取了指定时间维下的所有经度和纬度位置的值,那么现在就更进一步,提取指定时间维度、经度维度以及纬度维度的数据(相当于就是从前面的一景数据变成了一个像元的数据)。首先,我们指定一个处于.nc文件成像范围内的目标经度longitude_need和目标纬度latitude_need,并使用argmin()函数找到目标经、纬度值与文件中经度、纬度的数据值最接近的索引值——即longitude_nclatitude_nc。最后,即可使用nc_data.variables["swvl1"][time_need, latitude_nc, longitude_nc]来获取特定时间、经度和纬度位置的值,并将结果存储在nc_value_2变量中。

  这里提一句——为什么需要用argmin()函数呢?这个是因为,我们在实际情况中,需要提取指定空间位置的像素时,这个位置的经、纬度数据肯定是随机的;而通过argmin()函数,就可以找到.nc文件里面经度、纬度所对应的中,与我们实际需要的经、纬度最接近的那个数值所对应的维的下标。例如,上述代码中,我们希望提取实际经度为106.467位置处的数据;而我这里这个.nc文件,其维中的经度的分辨率是0.1,那它自然没有办法非常精确地确定106.467的位置;所以需要通过argmin()函数,找到与106.467最接近的数据106.5,并进一步确定出这个106.5所在的经度的下标,那么就可以提取出指定的变量了。

  如下图所示,我们通过上述第二种需求,提取出来了目标时间、经度与纬度维下的一个像素。

  那么这个像素值对不对呢?我们可以在ArcGIS中打开这个.nc文件的第一景数据,找到代码中目标经、纬度(也就是longitude_needlatitude_need所指向的数据)所对应的像元,并查看其像素值;如下图所示。

  可以看到,上图在ArcGIS提取出来的像素值,与上上图在Python中提取出来的像素值一致,说明我们的代码无误。

  至此,大功告成。

相关文章
|
11天前
|
数据采集 Web App开发 数据可视化
Python零基础爬取东方财富网股票行情数据指南
东方财富网数据稳定、反爬宽松,适合爬虫入门。本文详解使用Python抓取股票行情数据,涵盖请求发送、HTML解析、动态加载处理、代理IP切换及数据可视化,助你快速掌握金融数据爬取技能。
208 1
|
11天前
|
Java 数据挖掘 数据处理
(Pandas)Python做数据处理必选框架之一!(一):介绍Pandas中的两个数据结构;刨析Series:如何访问数据;数据去重、取众数、总和、标准差、方差、平均值等;判断缺失值、获取索引...
Pandas 是一个开源的数据分析和数据处理库,它是基于 Python 编程语言的。 Pandas 提供了易于使用的数据结构和数据分析工具,特别适用于处理结构化数据,如表格型数据(类似于Excel表格)。 Pandas 是数据科学和分析领域中常用的工具之一,它使得用户能够轻松地从各种数据源中导入数据,并对数据进行高效的操作和分析。 Pandas 主要引入了两种新的数据结构:Series 和 DataFrame。
200 0
|
2月前
|
机器学习/深度学习 新能源 调度
电力系统短期负荷预测(Python代码+数据+详细文章讲解)
电力系统短期负荷预测(Python代码+数据+详细文章讲解)
234 1
|
1月前
|
存储 监控 API
Python实战:跨平台电商数据聚合系统的技术实现
本文介绍如何通过标准化API调用协议,实现淘宝、京东、拼多多等电商平台的商品数据自动化采集、清洗与存储。内容涵盖技术架构设计、Python代码示例及高阶应用(如价格监控系统),提供可直接落地的技术方案,帮助开发者解决多平台数据同步难题。
|
1月前
|
存储 JSON 算法
Python集合:高效处理无序唯一数据的利器
Python集合是一种高效的数据结构,具备自动去重、快速成员检测和无序性等特点,适用于数据去重、集合运算和性能优化等场景。本文通过实例详解其用法与技巧。
106 0
|
13天前
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
21天前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
1月前
|
JSON API 数据安全/隐私保护
Python采集淘宝评论API接口及JSON数据返回全流程指南
Python采集淘宝评论API接口及JSON数据返回全流程指南
|
1月前
|
数据采集 数据可视化 关系型数据库
基于python大数据的电影数据可视化分析系统
电影分析与可视化平台顺应电影产业数字化趋势,整合大数据处理、人工智能与Web技术,实现电影数据的采集、分析与可视化展示。平台支持票房、评分、观众行为等多维度分析,助力行业洞察与决策,同时提供互动界面,增强观众对电影文化的理解。技术上依托Python、MySQL、Flask、HTML等构建,融合数据采集与AI分析,提升电影行业的数据应用能力。
|
1月前
|
数据可视化 大数据 数据挖掘
基于python大数据的招聘数据可视化分析系统
本系统基于Python开发,整合多渠道招聘数据,利用数据分析与可视化技术,助力企业高效决策。核心功能包括数据采集、智能分析、可视化展示及权限管理,提升招聘效率与人才管理水平,推动人力资源管理数字化转型。

推荐镜像

更多