用Python提取长时间序列遥感文件中缺失文件所对应的日期

简介: 【2月更文挑战第1天】本文介绍批量下载大量多时相的遥感影像文件后,基于Python语言与每一景遥感影像文件的文件名,对这些已下载的影像文件加以缺失情况的核对,并自动统计、列出未下载影像所对应的时相的方法~

  本文介绍批量下载大量多时相的遥感影像文件后,基于Python语言与每一景遥感影像文件的文件名,对这些已下载的影像文件加以缺失情况的核对,并自动统计、列出未下载影像所对应的时相的方法。

  批量下载大量遥感影像文件对于RS学生与从业人员可谓十分常见。在我们之前的文章Python:批量下载大量遥感影像后如何核对文件下载情况?中,就介绍过同样基于文件名称,对未成功下载的遥感影像加以统计,并自动筛选出未下载成功的遥感影像的下载链接的方法;在本文中,我们同样基于Python与栅格文件的文件名称,对类似的需求加以实现。

  首先,本文的需求和前述提及的文章略有不同。在这里,我们已经下载好了大量的、以遥感数据成像时间为文件名的栅格文件,如下图所示。

  其中,不难发现我们这里的遥感影像数据是从每一年的001天开始,每隔8天生成一景影像,每一景影像的名称后3位数字就是001009017这样表示天数的格式;此外,前4位数字表示年份,我们这里有从2020开始到2022结束、一共3年的遥感影像数据。

  现在,我们希望对于上述文件加以核对,看看在这3年中,是否有未下载成功的遥感影像文件;如果有的话,还希望输出下载失败的文件个数和对应的文件名称(也就是对应文件的成像时间)。

  明确了需求后,我们就可以开始具体的操作。首先,本文所需用到的代码如下。

# -*- coding: utf-8 -*-
"""
Created on Sat Dec 30 23:32:54 2023

@author: fkxxgis
"""

import os

def check_missing_dates(folder_path):
    start_year = 2020
    end_year = 2022
    days_per_file = 8

    missing_dates = []

    for year in range(start_year, end_year + 1):
        for day in range(1, 366, days_per_file):
            file_name = str(year) + "{:03d}".format(day) + ".tif"
            file_path = os.path.join(folder_path, file_name)

            if not os.path.exists(file_path):
                missing_dates.append(file_name[:-4])

    return missing_dates

folder_path = "F:/Data_Reflectance_Rec/NDVI"
missing_dates = check_missing_dates(folder_path)

print("Total missing dates:", len(missing_dates))
print("Missing dates:")
for date in missing_dates:
    print(date)

  这段代码整体思路也很明确。

  首先,我们导入所需的模块。在这里,os模块用于文件路径操作。

  接下来,我们定义一个名为check_missing_dates的函数,其接收一个文件夹路径作为参数;这个函数用于检查遗漏的日期。在这个函数中,我们定义了起始年份start_year和结束年份end_year,以及每个文件之间的日期间隔 days_per_file;随后,创建一个空列表missing_dates,用于存储遗漏的日期。

  随后,我们使用嵌套的循环遍历每一年和每一天。在每一天的循环中,构建文件名,如"2020017.tif",并构建文件的完整路径。接下来,使用os.path.exists()函数检查文件路径是否存在——如果文件不存在,则将日期添加到遗漏日期列表missing_dates中。在循环结束后,返回遗漏日期列表missing_dates

  在函数外部,我们定义要检查的文件夹路径folder_path,然后就可以调用check_missing_dates函数,传入文件夹路径参数,执行日期检查,将返回的遗漏日期列表赋值给missing_dates

  最后,我们打印遗漏日期的总数len(missing_dates),并打印每个具体的遗漏日期。

  执行上述代码,即可出现如下图所示的结果。即在我这里,目前有8个日期的遥感影像文件没有下载成功,我们再对照这8个遥感影像的日期,重新到相关网站中下载即可。

  至此,大功告成。

相关文章
|
3月前
|
数据可视化 Linux iOS开发
Python脚本转EXE文件实战指南:从原理到操作全解析
本教程详解如何将Python脚本打包为EXE文件,涵盖PyInstaller、auto-py-to-exe和cx_Freeze三种工具,包含实战案例与常见问题解决方案,助你轻松发布独立运行的Python程序。
1079 2
|
2月前
|
监控 机器人 编译器
如何将python代码打包成exe文件---PyInstaller打包之神
PyInstaller可将Python程序打包为独立可执行文件,无需用户安装Python环境。它自动分析代码依赖,整合解释器、库及资源,支持一键生成exe,方便分发。使用pip安装后,通过简单命令即可完成打包,适合各类项目部署。
|
4月前
|
缓存 数据可视化 Linux
Python文件/目录比较实战:排除特定类型的实用技巧
本文通过四个实战案例,详解如何使用Python比较目录差异并灵活排除特定文件,涵盖基础比较、大文件处理、跨平台适配与可视化报告生成,助力开发者高效完成目录同步与数据校验任务。
171 0
|
5月前
|
编译器 Python
如何利用Python批量重命名PDF文件
本文介绍了如何使用Python提取PDF内容并用于文件重命名。通过安装Python环境、PyCharm编译器及Jupyter Notebook,结合tabula库实现PDF数据读取与处理,并提供代码示例与参考文献。
|
5月前
|
编译器 Python
如何利用Python批量重命名文件
本文介绍了如何使用Python和PyCharm对文件进行批量重命名,包括文件名前后互换、按特定字符调整顺序等实用技巧,并提供了完整代码示例。同时推荐了第三方工具Bulk Rename Utility,便于无需编程实现高效重命名。适用于需要处理大量文件命名的场景,提升工作效率。
|
5月前
|
安全 Linux 网络安全
Python极速搭建局域网文件共享服务器:一行命令实现HTTPS安全传输
本文介绍如何利用Python的http.server模块,通过一行命令快速搭建支持HTTPS的安全文件下载服务器,无需第三方工具,3分钟部署,保障局域网文件共享的隐私与安全。
1076 0
|
6月前
|
编解码 Prometheus Java
当Python同时操作1000个文件时,为什么你的CPU只用了10%?
本文介绍如何构建一个高效的文件处理系统,解决单线程效率低、多线程易崩溃的矛盾。通过异步队列与多线程池结合,实现任务调度优化,提升I/O密集型操作的性能。
149 4
|
5月前
|
数据管理 开发工具 索引
在Python中借助Everything工具实现高效文件搜索的方法
使用上述方法,你就能在Python中利用Everything的强大搜索能力实现快速的文件搜索,这对于需要在大量文件中进行快速查找的场景尤其有用。此外,利用Python脚本可以灵活地将这一功能集成到更复杂的应用程序中,增强了自动化处理和数据管理的能力。
388 0
|
5月前
|
数据采集 监控 算法
Python文件与目录比较全攻略:从基础操作到性能优化
文件比较的核心在于数据指纹校验,通过逐字节比对生成唯一标识,确保内容一致性。从标准库的os与filecmp到高性能第三方库如pydiffx,再到分布式与量子加密技术的未来趋势,文件比较广泛应用于数据备份、代码审查与系统监控等领域,是保障数据完整性的关键技术手段。
119 0
|
6月前
|
数据采集 存储 API
Python爬虫结合API接口批量获取PDF文件
Python爬虫结合API接口批量获取PDF文件

推荐镜像

更多