Python遍历多个子文件夹并基于文件名特征将文件复制到不同的目标文件夹

简介: Python遍历多个子文件夹并基于文件名特征将文件复制到不同的目标文件夹

  本文介绍基于Python语言,遍历一个大文件夹中大量的子文件夹,并将每一个子文件夹中大量的文件,按照每一个文件的文件名称的特点与差异,自动创建多个目标文件夹,并将指定文件复制到不同的目标文件夹中的方法。

  首先,我们来明确一下本文的需求。现在有一个大文件夹,其中具有多个表示年份子文件夹,每一个子文件夹对应一个年份;如下图所示。

  其次,在每一个表示年份子文件夹中,同样具有着大量的子文件夹,此时每一个子文件夹表示一个天数;以上图中的2018文件夹为例,将其打开后,如下图所示。

  随后,每一个表示天数子文件夹中,就是我们希望加以提取、复制的文件了(在本中,就是一些.tif格式的遥感影像文件;如果大家需要复制其他格式的文件,思路和本文也都是一致的);我们以2018文件夹中的001子文件夹为例,将其打开后如下图所示。但是,这些文件自身还有一定特征——首先,如下图左侧绿色框内的部分所示,这些遥感影像文件来自不同的分幅,而这一部分的文字就是表示了他的分幅;我们希望,将同一个分幅所有遥感影像文件在后期复制到同一个文件夹内(比如所有名称带有50TMK字样的遥感影像文件,都放在名称为50TMK的目标文件夹中);其次,那些以_QC.tif字段结尾的遥感影像我们都不需要,无需复制,只复制不带_QC字段的遥感影像文件即可。

  明确了需求,我们就可以开始代码的撰写。

# -*- coding: utf-8 -*-
"""
Created on Thu Aug 17 00:14:16 2023
@author: fkxxgis
"""
import os
import shutil
source_folder = "F:/ers"
target_folder = "F:/Beijing_Preprocessing"
for year_folder in os.listdir(source_folder):
    year_path = os.path.join(source_folder, year_folder)
    if not os.path.isdir(year_path):
        continue
    for day_folder in os.listdir(year_path):
        day_path = os.path.join(year_path, day_folder)
        if not os.path.isdir(day_path):
            continue
        for image_file in os.listdir(day_path):
            if image_file.endswith("NDVI.tif"):
                index = image_file[-25 : -20]
                source_image_path = os.path.join(day_path, image_file)
                target_image_path = os.path.join(target_folder, index, image_file)
                if not os.path.isdir(os.path.join(target_folder, index)):
                    os.makedirs(os.path.join(target_folder, index))
                shutil.copy(source_image_path, target_image_path)
                print(year_folder, " ", day_folder)

  其中,source_foldertarget_folder分别指定了源文件夹(就是存放有原始遥感影像文件的大文件夹)和目标文件夹(也就是我们希望将遥感影像复制到的结果文件夹)的路径。

  随后,我们通过for year_folder in os.listdir(source_folder):遍历源文件夹中,表示年份的子文件夹。其后的year_path = os.path.join(source_folder, year_folder)用来生成年份子文件夹的完整路径。同时可以通过一个if语句来加以判断——如果当前路径不是文件夹,则跳过本次循环。随后,通过类似的方式,遍历当前年份子文件夹中的天数子文件夹。

  接下来,就可以通过for image_file in os.listdir(day_path):来遍历当前天数子文件夹中的文件。在这里,我们需要加以判断——如果文件名以 NDVI.tif结尾,表示这是我们想要的遥感影像文件。

  其次,index = image_file[-25 : -20]则是用来从文件名中提取索引,这个索引就是遥感影像的分幅,我们将其提取出来,用来构建不同分幅对应的目标文件夹。其后面的一个判断if not os.path.isdir(os.path.join(target_folder, index)):,就是检查每一个遥感影像的分幅,如果这一分幅对应的目标路径不存在,创建对应的目录结构。

  最后,我们使用shutil库的copy函数,将遥感影像文件复制到对应的目标路径内。

  运行上述代码,我们即可在目标文件夹中,首先看到每一个分幅的对应的子文件夹,如下图所示(我这里就是只有4个分幅)。

  而在每一个分幅子文件夹内,所有遥感影像都是这一分幅对应的文件,如下图所示。

  至此,大功告成。

欢迎关注:疯狂学习GIS

相关文章
|
9天前
|
机器学习/深度学习 存储 算法
解锁文件共享软件背后基于 Python 的二叉搜索树算法密码
文件共享软件在数字化时代扮演着连接全球用户、促进知识与数据交流的重要角色。二叉搜索树作为一种高效的数据结构,通过有序存储和快速检索文件,极大提升了文件共享平台的性能。它依据文件名或时间戳等关键属性排序,支持高效插入、删除和查找操作,显著优化用户体验。本文还展示了用Python实现的简单二叉搜索树代码,帮助理解其工作原理,并展望了该算法在分布式计算和机器学习领域的未来应用前景。
|
19天前
|
监控 网络安全 开发者
Python中的Paramiko与FTP文件夹及文件检测技巧
通过使用 Paramiko 和 FTP 库,开发者可以方便地检测远程服务器上的文件和文件夹是否存在。Paramiko 提供了通过 SSH 协议进行远程文件管理的能力,而 `ftplib` 则提供了通过 FTP 协议进行文件传输和管理的功能。通过理解和应用这些工具,您可以更加高效地管理和监控远程服务器上的文件系统。
48 20
|
25天前
|
存储 数据采集 数据处理
如何在Python中高效地读写大型文件?
大家好,我是V哥。上一篇介绍了Python文件读写操作,今天聊聊如何高效处理大型文件。主要方法包括:逐行读取、分块读取、内存映射(mmap)、pandas分块处理CSV、numpy处理二进制文件、itertools迭代处理及linecache逐行读取。这些方法能有效节省内存,提升效率。关注威哥爱编程,学习更多Python技巧。
|
26天前
|
存储 JSON 对象存储
如何使用 Python 进行文件读写操作?
大家好,我是V哥。本文介绍Python中文件读写操作的方法,包括文件读取、写入、追加、二进制模式、JSON、CSV和Pandas模块的使用,以及对象序列化与反序列化。通过这些方法,你可以根据不同的文件类型和需求,灵活选择合适的方式进行操作。希望对正在学习Python的小伙伴们有所帮助。欢迎关注威哥爱编程,全栈路上我们并肩前行。
|
1月前
|
存储 算法 Serverless
剖析文件共享工具背后的Python哈希表算法奥秘
在数字化时代,文件共享工具不可或缺。哈希表算法通过将文件名或哈希值映射到存储位置,实现快速检索与高效管理。Python中的哈希表可用于创建简易文件索引,支持快速插入和查找文件路径。哈希表不仅提升了文件定位速度,还优化了存储管理和多节点数据一致性,确保文件共享工具高效运行,满足多用户并发需求,推动文件共享领域向更高效、便捷的方向发展。
|
2月前
|
计算机视觉 Python
如何使用Python将TS文件转换为MP4
本文介绍了如何使用Python和FFmpeg将TS文件转换为MP4文件。首先需要安装Python和FFmpeg,然后通过`subprocess`模块调用FFmpeg命令,实现文件格式的转换。代码示例展示了具体的操作步骤,包括检查文件存在性、构建FFmpeg命令和执行转换过程。
72 7
|
3月前
|
中间件 Docker Python
【Azure Function】FTP上传了Python Function文件后,无法在门户页面加载函数的问题
通过FTP上传Python Function至Azure云后,出现函数列表无法加载的问题。经排查,发现是由于`requirements.txt`中的依赖包未被正确安装。解决方法为:在本地安装依赖包到`.python_packages/lib/site-packages`目录,再将该目录内容上传至云上的`wwwroot`目录,并重启应用。最终成功加载函数列表。
|
8月前
|
移动开发 Unix Linux
Python 遍历文件每一行判断是否只有一个换行符详解
**Python 检查文件每行换行符:** 文章探讨了在Python中验证文件每行是否仅含一个换行符的需求。通过提供代码示例,展示了如何打开文件,遍历行,判断行尾的换行情况。基础实现检查`\n`,扩展版考虑了`\r\n`,并可选地将结果保存至新文件。这些功能有助于确保数据格式规范。
|
5月前
|
数据处理 Python
python遍历文件夹所有文件按什么排序
python遍历文件夹所有文件按什么排序
44 0
|
5月前
|
数据处理 Python
Python遍历文件夹所有文件并按指定排序
Python遍历文件夹所有文件并按指定排序
127 0

热门文章

最新文章