python os.listdir的替代方案os.scandir

简介: python os.listdir的替代方案os.scandir

当一个文件夹里面的文件非常多的时候,比方说,上百万个文件的时候,使用listdir来获取每个文件的名称来做区别处理,速度回非常慢,那么,使用以下代码,可能效果会好上很多

import os
import shutil
data_path='D:/oanda/'   
target_path='D:/data/'
with os.scandir(data_path) as it:
    for entry in it:
        if not entry.name.startswith('.') and entry.is_file():
            file_name=entry.name
            pair='__'.join(file_name.split('__')[:2])
            shutil.move(data_path+file_name,target_path+pair+'/'+file_name) 
            print(file_name)


目录
相关文章
|
17天前
|
消息中间件 监控 API
在Python中如何实现微服务架构,及相关的服务间通信方案?
Python微服务架构涉及服务划分、注册发现、通信协议选择(如HTTP、gRPC、消息队列)及服务间通信实现。每个服务应自治,有独立数据库和部署流程,并需考虑容错(如分布式事务、重试、熔断)和监控日志。API网关用于请求管理和路由。实际操作需根据需求和技术栈调整,并关注服务拆分和数据一致性。
42 5
|
17天前
|
项目管理 Python
深入理解Python中的os.chdir()方法
`os.chdir()`是Python中用于改变当前工作目录的方法,简化文件和目录操作。语法为`os.chdir(path)`,`path`是目标目录路径。示例中展示了如何切换及检查工作目录。它常用于脚本执行、文件操作和多项目管理。注意目标目录必须存在,否则会抛出异常。相关方法有`os.getcwd()`获取当前目录和`os.path.join()`拼接路径。使用时结合异常处理可提升效率。参考[Python官方文档](https://docs.python.org/3/library/os.html)。
44 3
|
2天前
|
Python
Python OS 文件/目录方法
Python OS 文件/目录方法
|
17天前
|
机器人 大数据 区块链
量化合约系统开发方案(成熟Python)丨合约量化系统开发(OK、BSC)
什么是去中心化:去中心化:智能合约可以在脱离第三方信任机构的情况下完成背书,进行点对点交易,不需要任何第3方的介入,通过节点的共同验证、维护、以及后续的保障实施就能完成交易。量化交易机器人优点:1、克服人性的弱点:没有贪婪和恐惧,纪律性强、严格执行投资策略,不受投资者情绪的变化而随意更改。2、模型的系统性:多层次的量化模型、多角度的观察及海量数据的处理,结合大数据处理技术捕捉至刂更多的投资机会。
|
17天前
|
Python
在Python中,利用`os模块`的`path.exists()`函数可判断文件是否存
【5月更文挑战第12天】在Python中,利用`os模块`的`path.exists()`函数可判断文件是否存在,该函数对路径进行检查,存在则返回True,不存在则返回False。示例代码展示了如何检查'example.txt'文件是否存在并相应打印消息。此外,`os.path.isfile()`用于确认路径是否为文件,仅当是文件时返回True,否则返回False,同样配以示例说明其用法。
36 2
|
17天前
|
Linux Python Windows
python的os模块详细解读(二)
python的os模块详细解读(二)
|
17天前
|
移动开发 Linux Shell
python的os模块详细解读(一)
python的os模块详细解读(一)
python的os模块详细解读(一)
|
17天前
|
Python
Python、MATLAB股票投资:ARIMA模型最优的选股、投资组合方案与预测
Python、MATLAB股票投资:ARIMA模型最优的选股、投资组合方案与预测
|
17天前
|
开发者 Python
Python的os模块详解
Python的os模块详解
23 0
|
17天前
|
安全 Shell 数据安全/隐私保护
Python中的os模块
【4月更文挑战第1天】深入探讨Python的os模块,涵盖了基础操作如文件、目录、路径处理和系统命令执行,通过代码示例展示功能。文章还讨论了异常处理、环境变量、进程管理、文件和目录的创建、删除、复制,以及安全性和权限管理。此外,提到了Python 3.8+的pathlib模块,提供了更安全和面向对象的路径操作。文章还涉及文件和目录的时间戳管理和压缩解压缩,包括shutil和zipfile库的使用。总之,本文全面介绍了os模块及其在实际项目中的应用。
63 1