文件和目录操作|多进程和多线程【python进阶篇】

简介: 文件和目录操作|多进程和多线程【python进阶篇】

@[toc]

创建目录

在这里插入图片描述

操作系统。MakeDir可以递归地创建目录结构,例如
导入操作系统

makedirs('tmp/python/fileop',exist_ok=True)

将在当前工作目录下创建TMP目录,在TMP目录下创建python目录,在python目录下创建fileop目录
exist_ Ok=true指定如果要创建的目录已经存在,则不会报告任何错误

删除文件或目录

操作系统。Remove可以删除文件,例如

os.remove('sdf.py')

Rmtree()可以递归删除目录的所有子目录和子文件,例如

rmtree('tmp',ignore_errors=True)

注意:参数ignore_ Errors=true确保在目录不为空时不会引发异常。
复制文件
shutil模块中有许多目录文件操作功能
要复制文件,可以使用shutil模块的copyfile功能。
例如
从shutil导入复制文件

#将d:/tools/first Py复制到e:/first.Py
copyfile('d:/tools/first.py'、'e:/first.py')

请注意,如果在复制之前,e:/first Py已经存在,它将被copy覆盖,因此在使用此函数时必须小心。

副本目录

如果我们想将一个目录中的所有内容(包括子目录和文件、子目录中的子目录和文档等)复制到另一个目录,我们可以使用shutil的copytree功能。
如下所示
从shutil导入copytree

#将d:/tools/aaa目录中的所有内容复制到e:/bbb
copytree('d:/tools/aaa'、'e:/new/bbb')

请注意,复制前目标目录不得存在,否则将报告错误。
在执行上述代码之前,如果e:/new/bbb已存在,则在执行copytree时将报告错误
在执行上述代码之前,如果目录e:/new不存在,则在执行copytree时,它将创建目录e:/new,然后创建目录e:/new/bbb,然后将目录d:/tools/aaa的所有内容复制到e:/new/bbb。
在执行上述代码之前,如果目录e:/new存在,但e:/new/bbb不存在,则在执行copytree时,将仅创建e:/new/bbb,然后将目录d:/tools/aaa中的所有内容复制到e:/new/bbb。

import os

# 修改目录名 d:/tools/aaa 为 d:/tools/bbb
os.rename('d:/tools/aaa','d:/tools/bbb')

# 修改文件名 d:/tools/first.py 为 d:/tools/second.py
os.rename('d:/tools/first.py','d:/tools/second.py')

对文件路径名的操作

对于文件名操作,如获取文件名、文件所在的目录以及文件路径的拼接,可以使用os Path模块。
通常,我们喜欢使用格式化字符串的方法来拼接文件路径,但如果您的程序需要在多个平台(如Linux和windows)上运行,则它们路径的分隔符是不同的。在windows上是\,而在Linux上是/。
在这种情况下,我们应该使用os路径模块。它可以自动处理数据,如数据/数据CSV和数据\数据文件路径差异,如CSV。
例如:

>>> import os
>>> path = '/Users/beazley/Data/data.csv'

>>> # 获取路径中的文件名部分
>>> os.path.basename(path)
'data.csv'

>>> # 获取路径中的目录部分
>>> os.path.dirname(path)
'/Users/beazley/Data'

>>> # 文件路径的拼接
>>> os.path.join('tmp', 'data', os.path.basename(path))
'tmp/data/data.csv'

进程和线程的概念

我经常被问及过程和线程之间的区别。
简单地说:进程是一个正在运行的程序。
我们编写的python程序(或其他应用程序,如画笔、QQ等)在运行时称为进程
打开windows下的任务管理器,其中显示当前系统上运行的进程。
在这里插入图片描述
例如,在以下程序运行后,只有一个线程,即主线程。在主线程中,代码按顺序执行,主线程退出,直到执行结束。与此同时,这一进程已经结束。

fee = input('请输入午餐费用:')
members = input('请输入聚餐人姓名,以英文逗号,分隔:')

# 将人员放入一个列表
memberlist = members.split(',') 
# 得到人数
headcount = len(memberlist) 

# 计算人均费用
avgfee = int (fee) / headcount
print(avgfee)

我们可以看到,我们的系统中运行着许多进程,如QQ、搜狗输入法等。
在运行这些程序之前,它们的程序代码文件存储在磁盘上,即扩展名为.Exe的文件。
双击它们,然后单击这些。Exe文件将由操作系统加载到内存中,运行并成为进程
系统中的每个进程至少包含一个线程
线程由操作系统创建。每个线程对应于代码执行的数据结构,它在代码执行期间保存重要的状态信息。
没有线程,操作系统无法管理和维护代码操作的状态信息。
因此,在创建线程之前,操作系统不会执行我们的代码。
虽然我们之前编写的python程序中没有创建线程的代码,但事实上,当python解释器程序运行(成为进程)时,操作系统会自动创建一个线程,通常称为主线程,并在此主线程中执行代码指令。
当解释器执行我们的Python程序代码时。我们的代码在这个主线程中被解释和执行。

相关文章
|
23天前
|
安全 数据处理 开发者
Python中的多线程编程:从入门到精通
本文将深入探讨Python中的多线程编程,包括其基本原理、应用场景、实现方法以及常见问题和解决方案。通过本文的学习,读者将对Python多线程编程有一个全面的认识,能够在实际项目中灵活运用。
|
5天前
|
并行计算 数据处理 调度
Python中的并发编程:探索多线程与多进程的奥秘####
本文深入探讨了Python中并发编程的两种主要方式——多线程与多进程,通过对比分析它们的工作原理、适用场景及性能差异,揭示了在不同应用需求下如何合理选择并发模型。文章首先简述了并发编程的基本概念,随后详细阐述了Python中多线程与多进程的实现机制,包括GIL(全局解释器锁)对多线程的影响以及多进程的独立内存空间特性。最后,通过实例演示了如何在Python项目中有效利用多线程和多进程提升程序性能。 ####
|
11天前
|
开发者 Python
Python中__init__.py文件的作用
`__init__.py`文件在Python包管理中扮演着重要角色,通过标识目录为包、初始化包、控制导入行为、支持递归包结构以及定义包的命名空间,`__init__.py`文件为组织和管理Python代码提供了强大支持。理解并正确使用 `__init__.py`文件,可以帮助开发者更好地组织代码,提高代码的可维护性和可读性。
15 2
|
17天前
|
Java Unix 调度
python多线程!
本文介绍了线程的基本概念、多线程技术、线程的创建与管理、线程间的通信与同步机制,以及线程池和队列模块的使用。文章详细讲解了如何使用 `_thread` 和 `threading` 模块创建和管理线程,介绍了线程锁 `Lock` 的作用和使用方法,解决了多线程环境下的数据共享问题。此外,还介绍了 `Timer` 定时器和 `ThreadPoolExecutor` 线程池的使用,最后通过一个具体的案例展示了如何使用多线程爬取电影票房数据。文章还对比了进程和线程的优缺点,并讨论了计算密集型和IO密集型任务的适用场景。
37 4
|
17天前
|
调度 iOS开发 MacOS
python多进程一文够了!!!
本文介绍了高效编程中的多任务原理及其在Python中的实现。主要内容包括多任务的概念、单核和多核CPU的多任务实现、并发与并行的区别、多任务的实现方式(多进程、多线程、协程等)。详细讲解了进程的概念、使用方法、全局变量在多个子进程中的共享问题、启动大量子进程的方法、进程间通信(队列、字典、列表共享)、生产者消费者模型的实现,以及一个实际案例——抓取斗图网站的图片。通过这些内容,读者可以深入理解多任务编程的原理和实践技巧。
41 1
|
24天前
|
Python
Python中的多线程与多进程
本文将探讨Python中多线程和多进程的基本概念、使用场景以及实现方式。通过对比分析,我们将了解何时使用多线程或多进程更为合适,并提供一些实用的代码示例来帮助读者更好地理解这两种并发编程技术。
|
27天前
|
Java Python
> python知识点100篇系列(19)-使用python下载文件的几种方式
【10月更文挑战第7天】本文介绍了使用Python下载文件的五种方法,包括使用requests、wget、线程池、urllib3和asyncio模块。每种方法适用于不同的场景,如单文件下载、多文件并发下载等,提供了丰富的选择。
|
4月前
|
运维 关系型数据库 MySQL
掌握taskset:优化你的Linux进程,提升系统性能
在多核处理器成为现代计算标准的今天,运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能,还能更好地管理和分配系统资源。 其中,taskset命令是一个强大的工具,它允许管理员将进程绑定到特定的CPU核心,减少上下文切换的开销,从而提升整体效率。
掌握taskset:优化你的Linux进程,提升系统性能
|
4月前
|
弹性计算 Linux 区块链
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
162 4
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
|
3月前
|
算法 Linux 调度
探索进程调度:Linux内核中的完全公平调度器
【8月更文挑战第2天】在操作系统的心脏——内核中,进程调度算法扮演着至关重要的角色。本文将深入探讨Linux内核中的完全公平调度器(Completely Fair Scheduler, CFS),一个旨在提供公平时间分配给所有进程的调度器。我们将通过代码示例,理解CFS如何管理运行队列、选择下一个运行进程以及如何对实时负载进行响应。文章将揭示CFS的设计哲学,并展示其如何在现代多任务计算环境中实现高效的资源分配。