Python提取出多个NC文件中的时间信息数据

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 【2月更文挑战第2天】本文介绍基于Python语言,逐一读取大量.nc格式的多时相栅格文件,导出其中所具有的全部时间信息的方法~

  本文介绍基于Python语言,逐一读取大量.nc格式的多时相栅格文件,导出其中所具有的全部时间信息的方法。

  .ncNetCDF(Network Common Data Form)文件的扩展名,表示一种常用的科学数据存储格式。NetCDF是一种自描述的、可移植的二进制文件格式,用于存储科学和工程领域的大型数据集;由于其自身的特性,.nc数据被广泛应用于气象学、海洋学、地球科学、气候研究、大气科学、地理信息系统等领域。

  首先,明确一下本文的需求。现在有一个文件夹,其中具有大量的.nc格式的栅格文件,如下图所示。

  其中,每一个.nc格式的文件都具有多个时相(或者说是多个维度),而不仅仅只是一个时相。我们希望,读取这个文件夹中的全部.nc格式文件,并获取其所表示的每一个时相。

  明确了需求后,我们就可以开始具体的操作。首先,本文所需用到的代码如下。

# -*- coding: utf-8 -*-
"""
Created on Sun Dec 31 20:28:03 2023

@author: fkxxgis
"""

import os
import netCDF4
from netCDF4 import Dataset

def list_nc_dates(folder_path):
    nc_dates = []

    for file_name in os.listdir(folder_path):
        if file_name.endswith(".nc"):
            file_path = os.path.join(folder_path, file_name)
            try:
                dataset = Dataset(file_path)
                time_var = dataset.variables["time"]
                time_values = time_var[:]
                time_units = time_var.units
                time_calendar = time_var.calendar

                dates = []
                for value in time_values:
                    date = netCDF4.num2date(value, units=time_units, calendar=time_calendar)
                    dates.append(date.strftime("%Y-%m-%d %H:%M:%S"))

                nc_dates.append((file_name, dates))
            except Exception as e:
                print(f"Error reading file {file_name}: {str(e)}")

    return nc_dates

folder_path = "F:/Data_Reflectance_Rec/soil_1"
nc_dates = list_nc_dates(folder_path)

for nc_file, dates in nc_dates:
    for date in dates:
        print(date)

  这段代码整体思路也很明确。

  首先,我们导入所需的模块。在这里,需要导入Pythonos模块,用于处理文件和文件夹路径操作;同时导入netCDF4库,并接着从netCDF4库中导入Dataset类,用于打开和读取.nc文件。在这里,如果需要配置netCDF4库,大家可以参考文章Python中h5py与netCDF4库在Anaconda的配置方法

  接下来,我们定义了一个名为list_nc_dates的函数,接受一个文件夹路径作为参数。在函数中,首先创建一个空列表nc_dates,用于存储每个.nc文件及其对应的日期列表;随后,使用os.listdir()函数遍历文件夹中的所有文件,通过检查文件名是否以.nc结尾来筛选出.nc文件。紧接着,对于筛选出来的.nc文件,使用os.path.join()函数构建其完整路径。

  其次,使用Dataset类打开.nc文件,并将打开的文件对象赋值给dataset变量;随后,获取.nc文件的时间,在本文的.nc数据中,也就是名为time的变量,并将时间变量的值读取到time_values变量中。接下来,分别获取时间变量的单位与时间类型。

  随后,我们创建一个空列表dates,用于存储日期字符串。遍历时间变量的每个值,使用netCDF4.num2date()函数将时间值转换为日期对象。紧接着,将日期对象转换为指定格式的字符串,并将其添加到dates列表中。此外,这里还将.nc文件名和对应的日期列表作为元组添加到nc_dates列表中,方便我们后期对日期的核对。函数的最后,返回包含每个.nc文件及其对应日期的列表。

  在函数外部,我们设置文件夹路径,随后即可调用list_nc_dates函数,将文件夹路径传递给它,并将返回的结果赋值给nc_dates变量。最后,通过循环,打印每个日期即可。

  执行上述代码,即可出现如下图所示的结果(结果很长,就截取一部分)。由于在本文中,每一个.nc格式文件的每一个维度(即每一个时相)都是精确到天的,所以下图天数后的时、分、秒都是00。当然,如果大家的.nc格式文件维度很多,时相打印出来的话也不好完全显示,所以可以考虑将时间信息导出为表格文件等;例如,可以将每一个date都放在DataFrame中,随后导出为.csv文件。

  至此,大功告成。

相关文章
|
11天前
|
机器学习/深度学习 存储 算法
解锁文件共享软件背后基于 Python 的二叉搜索树算法密码
文件共享软件在数字化时代扮演着连接全球用户、促进知识与数据交流的重要角色。二叉搜索树作为一种高效的数据结构,通过有序存储和快速检索文件,极大提升了文件共享平台的性能。它依据文件名或时间戳等关键属性排序,支持高效插入、删除和查找操作,显著优化用户体验。本文还展示了用Python实现的简单二叉搜索树代码,帮助理解其工作原理,并展望了该算法在分布式计算和机器学习领域的未来应用前景。
|
6天前
|
数据采集 数据安全/隐私保护 Python
从零开始:用Python爬取网站的汽车品牌和价格数据
在现代化办公室中,工程师小李和产品经理小张讨论如何获取懂车帝网站的汽车品牌和价格数据。小李提出使用Python编写爬虫,并通过亿牛云爬虫代理避免被封禁。代码实现包括设置代理、请求头、解析网页内容、多线程爬取等步骤,确保高效且稳定地抓取数据。小张表示理解并准备按照指导操作。
从零开始:用Python爬取网站的汽车品牌和价格数据
|
1天前
|
算法 Serverless 数据处理
从集思录可转债数据探秘:Python与C++实现的移动平均算法应用
本文探讨了如何利用移动平均算法分析集思录提供的可转债数据,帮助投资者把握价格趋势。通过Python和C++两种编程语言实现简单移动平均(SMA),展示了数据处理的具体方法。Python代码借助`pandas`库轻松计算5日SMA,而C++代码则通过高效的数据处理展示了SMA的计算过程。集思录平台提供了详尽且及时的可转债数据,助力投资者结合算法与社区讨论,做出更明智的投资决策。掌握这些工具和技术,有助于在复杂多变的金融市场中挖掘更多价值。
22 12
|
21天前
|
监控 网络安全 开发者
Python中的Paramiko与FTP文件夹及文件检测技巧
通过使用 Paramiko 和 FTP 库,开发者可以方便地检测远程服务器上的文件和文件夹是否存在。Paramiko 提供了通过 SSH 协议进行远程文件管理的能力,而 `ftplib` 则提供了通过 FTP 协议进行文件传输和管理的功能。通过理解和应用这些工具,您可以更加高效地管理和监控远程服务器上的文件系统。
51 20
|
27天前
|
存储 数据采集 数据处理
如何在Python中高效地读写大型文件?
大家好,我是V哥。上一篇介绍了Python文件读写操作,今天聊聊如何高效处理大型文件。主要方法包括:逐行读取、分块读取、内存映射(mmap)、pandas分块处理CSV、numpy处理二进制文件、itertools迭代处理及linecache逐行读取。这些方法能有效节省内存,提升效率。关注威哥爱编程,学习更多Python技巧。
|
28天前
|
存储 JSON 对象存储
如何使用 Python 进行文件读写操作?
大家好,我是V哥。本文介绍Python中文件读写操作的方法,包括文件读取、写入、追加、二进制模式、JSON、CSV和Pandas模块的使用,以及对象序列化与反序列化。通过这些方法,你可以根据不同的文件类型和需求,灵活选择合适的方式进行操作。希望对正在学习Python的小伙伴们有所帮助。欢迎关注威哥爱编程,全栈路上我们并肩前行。
|
9月前
|
开发者 索引 Python
实践:如何使用python在网页的表格里抓取信息
实践:如何使用python在网页的表格里抓取信息
139 0
|
SQL 关系型数据库 数据库连接
使用python3抓取pinpoint应用信息入库
使用python3通过pinpoint api来获取pinpoint中应用基础信息、上下游链路,并入库
1994 0
|
数据采集 供应链 机器人
Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
471 0
Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
|
定位技术 开发者 Python
Python编程:通过百度地图接口抓取机构的地址和电话信息
Python编程:通过百度地图接口抓取机构的地址和电话信息
566 0

推荐镜像

更多