python 文件操作新姿势 pathlib模块的详细使用

简介: 相比常用的 os.path而言,pathlib 对于目录路径的操作更简介也更贴近 Pythonic。但是它不单纯是为了简化操作,还有更大的用途。pathlib 是Python内置库,Python 文档给它的定义是:The pathlib module – object-oriented filesystem paths(面向对象的文件系统路径)。pathlib 提供表示文件系统路径的类,其语义适用于不同的操作系统。

相比常用的 os.path而言,pathlib 对于目录路径的操作更简介也更贴近 Pythonic。但是它不单纯是为了简化操作,还有更大的用途。

pathlib 是Python内置库,Python 文档给它的定义是:The pathlib module – object-oriented filesystem paths(面向对象的文件系统路径)。pathlib 提供表示文件系统路径的类,其语义适用于不同的操作系统。

20200813205955716.png

更多详细的内容可以参考官方文档:https://docs.python.org/3/library/pathlib.html#methods


一、pathlib模块下 Path 类的基本使用


frompathlibimportPathpath=r'D:\python\pycharm2020\program\pathlib模块的基本使用.py'p=Path(path)
print(p.name)       # 获取文件名print(p.stem)       # 获取文件名除后缀的部分print(p.suffix)     # 获取文件后缀print(p.parent)     # 相当于dirnameprint(p.parent.parent.parent)
print(p.parents)    # 返回一个iterable 包含所有父目录foriinp.parents:
print(i)
print(p.parts)      # 将路径通过分隔符分割成一个元组


运行结果如下:


pathlib模块的基本使用.pypathlib模块的基本使用.pyD:\python\pycharm2020\programD:\python<WindowsPath.parents>D:\python\pycharm2020\programD:\python\pycharm2020D:\pythonD:\
('D:\\', 'python', 'pycharm2020', 'program', 'pathlib模块的基本使用.py')


  • Path.cwd():Return a new path object representing the current directory
  • Path.home():Return a new path object representing the user’s home directory
  • Path.expanduser():Return a new path with expanded ~ and ~user constructs


frompathlibimportPathpath_1=Path.cwd()       # 获取当前文件路径path_2=Path.home()
p1=Path('~/pathlib模块的基本使用.py')
print(path_1)
print(path_2)
print(p1.expanduser())


运行结果如下:


D:\python\pycharm2020\programC:\Users\AdministratorC:\Users\Administrator\pathlib模块的基本使用.py


Path.stat():Return a os.stat_result object containing information about this path


frompathlibimportPathimportdatetimep=Path('pathlib模块的基本使用.py')
print(p.stat())            # 获取文件详细信息print(p.stat().st_size)    # 文件的字节大小print(p.stat().st_ctime)   # 文件创建时间print(p.stat().st_mtime)   # 上次修改文件的时间creat_time=datetime.datetime.fromtimestamp(p.stat().st_ctime)
st_mtime=datetime.datetime.fromtimestamp(p.stat().st_mtime)
print(f'该文件创建时间:{creat_time}')
print(f'上次修改该文件的时间:{st_mtime}')


运行结果如下:


os.stat_result(st_mode=33206, st_ino=3659174698076635, st_dev=3730828260, st_nlink=1, st_uid=0, st_gid=0, st_size=543, st_atime=1597366826, st_mtime=1597366826, st_ctime=1597320585)
5431597320585.76574751597366826.9711637该文件创建时间:2020-08-1320:09:45.765748上次修改该文件的时间:2020-08-1409:00:26.971164


从不同.stat().st_属性 返回的时间戳表示自1970年1月1日以来的秒数,可以用datetime.fromtimestamp将时间戳转换为有用的时间格式。


frompathlibimportPathp1=Path('pathlib模块的基本使用.py')          # 文件p2=Path(r'D:\python\pycharm2020\program')   # 文件夹 absolute_path=p1.resolve()
print(absolute_path)
print(Path('.').exists())
print(p1.exists(), p2.exists())
print(p1.is_file(), p2.is_file())
print(p1.is_dir(), p2.is_dir())
print(Path('/python').exists())
print(Path('non_existent_file').exists())


运行结果如下:


D:\python\pycharm2020\program\pathlib模块的基本使用.pyTrueTrueTrueTrueFalseFalseTrueTrueFalse


  • Path.iterdir():When the path points to a directory,yield path objects of the directory contents


frompathlibimportPathp=Path('/python')
forchildinp.iterdir():
print(child)


运行结果如下:


\python\Anaconda\python\EVCapture\python\Evernote_6.21.3.2048.exe\python\Notepad++\python\pycharm-community-2020.1.3.exe\python\pycharm2020\python\pyecharts-assets-master\python\pyecharts-gallery-master\python\Sublimetext3


  • Path.glob(pattern):Glob the given relative pattern in the directory represented by this path, yielding all matching files (of any kind),The “**” pattern means “this directory and all subdirectories, recursively”. In other words, it enables recursive globbing.


  • Note:Using the “**” pattern in large directory trees may consume an inordinate amount of time


递归遍历该目录下所有文件,获取所有符合pattern的文件,返回一个generator。


获取该文件目录下所有.py文件


frompathlibimportPathpath=r'D:\python\pycharm2020\program'p=Path(path)
file_name=p.glob('**/*.py')
print(type(file_name))   # <class 'generator'>foriinfile_name:
print(i)


获取该文件目录下所有.jpg图片


frompathlibimportPathpath=r'D:\python\pycharm2020\program'p=Path(path)
file_name=p.glob('**/*.jpg')
print(type(file_name))   # <class 'generator'>foriinfile_name:
print(i)


获取给定目录下所有.txt文件、.jpg图片和.py文件


frompathlibimportPathdefget_files(patterns, path):
all_files= []
p=Path(path)
foriteminpatterns:
file_name=p.rglob(f'**/*{item}')
all_files.extend(file_name)
returnall_filespath=input('>>>请输入文件路径:')
results=get_files(['.txt', '.jpg', '.py'], path)
print(results)
forfileinresults:
print(file)


Path.mkdir(mode=0o777, parents=False, exist_ok=False)


  • Create a new directory at this given path. If mode is given, it is combined with the process’ umask value to determine the file mode and access flags. If the path already exists, FileExistsError is raised.
  • If parents is true, any missing parents of this path are created as needed; they are created with the default permissions without taking mode into account (mimicking the POSIX mkdir -p command).
  • If parents is false (the default), a missing parent raises FileNotFoundError.
  • If exist_ok is false (the default), FileExistsError is raised if the target directory already exists.
  • If exist_ok is true, FileExistsError exceptions will be ignored (same behavior as the POSIX mkdir -p command), but only if the last path component is not an existing non-directory file.


Changed in version 3.5: The exist_ok parameter was added.

Path.rmdir():Remove this directory. The directory must be empty.


frompathlibimportPathp=Path(r'D:\python\pycharm2020\program\test')
p.mkdir()
p.rmdir()


frompathlibimportPathp=Path(r'D:\python\test1\test2\test3')
p.mkdir(parents=True)  # If parents is true, any missing parents of this path are created as neededp.rmdir()    # 删除的是test3文件夹


frompathlibimportPathp=Path(r'D:\python\test1\test2\test3')
p.mkdir(exist_ok=True)


  • Path.unlink(missing_ok=False):Remove this file or symbolic link. If the path points to a directory, use Path.rmdir() instead. If missing_ok is false (the default), FileNotFoundError is raised if the path does not exist. If missing_ok is true, FileNotFoundError exceptions will be ignored. Changed in version 3.8:The missing_ok parameter was added.
  • Path.rename(target):Rename this file or directory to the given target, and return a new Path instance pointing to target. On Unix, if target exists and is a file, it will be replaced silently if the user has permission. target can be either a string or another path object.
  • Path.open(mode=‘r’, buffering=-1, encoding=None, errors=None, newline=None):Open the file pointed to by the path, like the built-in open() function does.


frompathlibimportPathp=Path('foo.txt')
p.open(mode='w').write('some text')
target=Path('new_foo.txt')
p.rename(target)
content=target.open(mode='r').read()
print(content)
target.unlink()


二、与os模块用法的对比



pathlib2.png


三、实战案例


对于多层文件夹的读取,用os模块只能一层一层读取出文件,要写多个for循环,效率不高,这时我们可以用 Path.glob(**/*) 大法,下面以一个实际案例来体验它的强大。


用于测试的文件夹如下:


pathlib3.gif


md文件中数据如下:


pathlib4.png


需要实现将该目录下所有 md 文件的数据提取出来,并进行清洗,然后写入 csv 文件中。

# -*- coding: UTF-8 -*-"""@File    :pathlib读取多层目录数据.py@Author  :叶庭云@CSDN    :https://yetingyun.blog.csdn.net/"""frompathlibimportPathimportreimportpandasaspd# 传入路径p=Path(r'.\微博热搜数据\热搜数据/')
# 得到该文件目录下所有 .md文件file_list=list(p.glob('**/*.md'))
print(f'读取md文件数量:{len(file_list)}')
foriteminfile_list:
print(item)
# 每天有两条热搜汇总  11点  23点  会有重合数据  去重filelist=list(filter(lambdax: str(x).find('23点') >=0, file_list))
sum_list= []
i=0forfileinfilelist:
# 遍历出每一个md文件   读取数据withfile.open(encoding='utf-8') asf:
lines=f.readlines()
lines= [i.strip() foriinlines]   # 去除空字符data=list(filter(None, lines))     # 去除掉列表中的空子串data=data[1:101]
con=data[::2]     # 热搜内容rank=data[1::2]   # 热度date=re.findall('年(.+)2', str(file)) *len(con)
forminrange(len(con)):
con[m] =con[m].split('、')[-1]   # 字符串操作forninrange(len(rank)):
rank[n] =re.findall(r'\d+', rank[n])[0]
con_dic= {'日期': date, '热搜内容': con, '热度': rank}
df=pd.DataFrame(con_dic)
ifi==0:
df.to_csv('weibo1.csv', mode='a+', index=False, header=True)
else:
df.to_csv('weibo1.csv', mode='a+', index=False, header=False)
# 每个md文件中有50条数据i+=50print('共{}条数据写入csv'.format(i))


运行效果如下:

20201104222951120.gif

pathlib6.gif

成功将该目录下所有 md 文件的数据提取出来,并进行清洗,然后写入了 csv 文件中。

目录
相关文章
|
25天前
|
开发者 Python
如何在Python中管理模块和包的依赖关系?
在实际开发中,通常会结合多种方法来管理模块和包的依赖关系,以确保项目的顺利进行和可维护性。同时,要及时更新和解决依赖冲突等问题,以保证代码的稳定性和可靠性
42 4
|
5天前
|
Python
Python Internet 模块
Python Internet 模块。
100 74
|
23天前
|
算法 数据安全/隐私保护 开发者
马特赛特旋转算法:Python的随机模块背后的力量
马特赛特旋转算法是Python `random`模块的核心,由松本真和西村拓士于1997年提出。它基于线性反馈移位寄存器,具有超长周期和高维均匀性,适用于模拟、密码学等领域。Python中通过设置种子值初始化状态数组,经状态更新和输出提取生成随机数,代码简单高效。
104 63
|
24天前
|
测试技术 Python
手动解决Python模块和包依赖冲突的具体步骤是什么?
需要注意的是,手动解决依赖冲突可能需要一定的时间和经验,并且需要谨慎操作,避免引入新的问题。在实际操作中,还可以结合使用其他方法,如虚拟环境等,来更好地管理和解决依赖冲突😉。
|
24天前
|
持续交付 Python
如何在Python中自动解决模块和包的依赖冲突?
完全自动解决所有依赖冲突可能并不总是可行,特别是在复杂的项目中。有时候仍然需要人工干预和判断。自动解决的方法主要是提供辅助和便捷,但不能完全替代人工的分析和决策😉。
|
1月前
|
JSON Linux 数据格式
Python模块:从入门到精通,只需一篇文章!
Python中的模块是将相关代码组织在一起的单元,便于重用和维护。模块可以是Python文件或C/C++扩展,Python标准库中包含大量模块,如os、sys、time等,用于执行各种任务。定义模块只需创建.py文件并编写代码,导入模块使用import语句。此外,Python还支持自定义模块和包,以及虚拟环境来管理项目依赖。
Python模块:从入门到精通,只需一篇文章!
|
25天前
|
Python
Python的模块和包
总之,模块和包是 Python 编程中非常重要的概念,掌握它们可以帮助我们更好地组织和管理代码,提高开发效率和代码质量
37 5
|
24天前
|
数据可视化 Python
如何在Python中解决模块和包的依赖冲突?
解决模块和包的依赖冲突需要综合运用多种方法,并且需要团队成员的共同努力和协作。通过合理的管理和解决冲突,可以提高项目的稳定性和可扩展性
|
29天前
|
JavaScript 前端开发 Python
python中的OS模块的基本使用
欢迎来到瑞雨溪的博客,一名热爱JavaScript与Vue的大一学生。博客分享前端技术及全栈开发经验,持续更新中,期待您的关注和支持!🎉🎉🎉
34 0
|
29天前
|
JavaScript 前端开发 Python
python中的platform模块的基本使用
欢迎来到瑞雨溪的博客,一名热爱JavaScript与Vue的大一学生。博客分享前端技术,助你成长。关注我,持续更新中!🎉🎉🎉
23 0
下一篇
DataWorks