AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

第十二章 Python文件操作

2024-04-24 11
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 第十二章 Python文件操作

12.1 open()

open()函数作用是打开文件，返回一个文件对象。

用法格式：open(name[, mode[, buffering[,encoding]]]) -> file object

name 文件名

mode 模式，比如以只读方式打开

buffering 缓冲区

encoding 返回数据采用的什么编码，一般utf8或gbk

Mode

Description
r 只读，默认
w 只写，打开前清空文件内容
a 追加
a+ 读写，写到文件末尾
w+ 可读写，清空文件内容
r+ 可读写，能写到文件任何位置
rb 二进制模式读
wb 二进制模式写，清空文件内容

例如：打开一个文件

>>> f = open('test.txt', 'r')
>>> f.
f.__class__(         f.__new__(           f.encoding           f.readinto(
f.__delattr__(       f.__reduce__(        f.errors             f.readline(
f.__doc__            f.__reduce_ex__(     f.fileno(            f.readlines(
f.__enter__(         f.__repr__(          f.flush(             f.seek(
f.__exit__(          f.__setattr__(       f.isatty(            f.softspace
f.__format__(        f.__sizeof__(        f.mode               f.tell(
f.__getattribute__(  f.__str__(           f.name               f.truncate(
f.__hash__(          f.__subclasshook__(  f.newlines           f.write(
f.__init__(          f.close(             f.next(              f.writelines(
f.__iter__(          f.closed             f.read(              f.xreadlines(

open()函数打开文件返回一个文件对象，并赋予遍历f，f就拥有了这个文件对象的操作方法。

方法

描述
f.read([size]) 读取size字节，当未指定或给负值时，读取剩余所有的字节，作为字符串返回
f.readline([size]) 从文件中读取下一行，作为字符串返回。如果指定size则返回size字节
f.readlines([size]) 读取size字节，当未指定或给负值时，读取剩余所有的字节，作为列表返回
f.write(str) 写字符串到文件
f.writelines(seq) 写序列到文件，seq必须是一个可迭代对象，而且要是一个字符串序列
f.seek(offset[, whence=0]) 在文件中移动文件指针，从whence（0代表文件起始位置，默认。1代表当前位置。2代表文件末尾）偏移offset个字节
f.tell() 返回当前在文件中的位置
f.close()
 关闭文件
f.flush 刷新缓冲区到磁盘

12.2 文件对象操作

写一个测试文件test.txt举例：

# cat test.txt
1.Python
2.Java
3.C++
4.Ruby

12.2.1 read()读取所有内容

>>> f = open('test.txt', 'r')
>>> f.read()
'1.Python\n2.Java\n3.C++\n4.Ruby\n'

指定读取多少字节：

>>> f = open('test.txt', 'r')
>>> f.read(9)  # 获取指定字节
'1.Python\n'

12.2.2 readline()读取下一行内容

>>> f = open('test.txt', 'r')
>>> f.readline()
'1.Python\n'
>>> f.readline()
'2.Java\n'

12.2.3 readlines()读取所有内容返回一个列表

>>> f = open('test.txt', 'r')
>>> f.readlines()
['1.Python\n', '2.Java\n', '3.C++\n', '4.Ruby\n']

12.2.4 wirte()写入字符串到文件

>>> f = open('test.txt', 'a')  # 以追加方式打开文件
>>> f.write("5.Shell\n")  # 这一步并没有真正写到文件
>>> f.flush()  # 刷新到磁盘才写到文件
# cat test.txt
1.Python
2.Java
3.C++
4.Ruby
5.Shell

12.2.5 wirtelines()写入一个序列字符串到文件

>>> f = open('test.txt', 'a')
>>> f.writelines(['a','b','c'])
>>> f.flush()
# cat test.txt
1.Python
2.Java
3.C++
4.Ruby
5.Shell
abc

12.2.6 seek()从指定位置读取

>>> f = open('test.txt', 'r')
>>> f.tell()
0
>>> f.seek(9)
>>> f.tell()
9
>>> f.seek(5,1)  # 1表示从当前位置开始
>>> f.tell()
14

12.2.7 tell()返回当前指针位置

>>> f = open('test.txt', 'r')
>>> f.tell()
0
>>> f.readline()
'1.Python\n'
>>> f.tell()   
9
>>> f.readline()
'2.Java\n'
>>> f.tell()   
16
>>> f.close()  # 使用完后关闭文件


博客地址：http://lizhenliang.blog.51cto.com

QQ群：323779636（Shell/Python运维开发群）


12.3 文件对象增删改查

在shell中，我们要想对文件指定行插入内容、替换等情况，使用sed工具很容易就实现。在本章节讲的open()函数并没有直接类似与sed工具的方法，要想实现这样的操作，变通的处理能到达此效果，主要思路是先读取内容修改，再写会文件，以下举几个常用的情况 。

12.3.1 在第一行增加一行

例如：在开头添加一个test字符串

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt', 'r')
data = f.read()
data = "test\n" + data
f = open('test.txt', 'w')
f.write(data)
f.flush()
f.close()
# python test.py
# cat test.txt
test
1.Python
2.Java
3.C++
4.Ruby

先将数据读出来，然后把要添加的test字符串拼接到原有的数据，然后在写入这个文件。

12.3.2 在指定行添加一行

例如：在第二行添加一个test字符串

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt', 'r')
data_list = f.readlines()  # 经测试，此方法比下面迭代效率高
# data_list = []
# for line in f:
#     data_list.append(line)
data_list.insert(1, 'test\n')
# data = ''.join(data)
f = open('test.txt', 'w')
# f.write(data)
f.writelines(data_list)  
f.flush()
f.close
# python test.py
# cat test.txt
1.Python
test
2.Java
3.C++
4.Ruby

先将数据以列表存储，就可以根据下标插入到指定位置，也就是哪一行了。再通过join把列表拼接成字符串，最后写到文件。

12.3.3 在匹配行前一行或后一行添加test字符串

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt', 'r')
data_list = f.readlines()
data_list.insert(2-1, 'test\n')  # 在指定行减去一行就是上一行了，下一行插入同理
f = open('test.txt', 'w')
f.writelines(data_list)
f.flush()
f.close

12.3.4 删除指定行

例如：删除第三行，与在指定行添加同理

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt', 'r')
data_list = f.readlines()
data_list.pop(2)
f = open('test.txt', 'w')
f.writelines(data_list)
f.flush()
f.close

例如：只保留第一行至第三行

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt', 'r')
data_list = f.readlines()[0:2]  # 列表切片
f = open('test.txt', 'w')
f.write(data_list)
f.flush()
f.close

12.3.5 删除匹配行

例如：删除匹配Py字符的行

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt', 'r')
data = f.readlines()
# data_list = []
# for line in data:
#     if line.find('Py') == -1:   # 如果当前行不包含Py字符，会返回-1，否则返回下标
#         data_list.append(line)
data_list = [line for line in data if line.find('Py') == -1]  
f = open('test.txt', 'w')
f.writelines(data_list)
f.flush()
f.close

12.3.6 全局替换字符串

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt', 'r')
data = f.read()
data.replace('old string', 'new string')
f = open('test.txt', 'w')
f.write(data)
f.flush()
f.close

12.3.7 在指定行替换字符串

例如：将C++改为C#

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt', 'r')
data = f.readlines()
data_list = []
for line in data:
    if data.index(line) == 2:
        data_list.append(line.replace('++', '#'))
    else:
        data_list.append(line)
f = open('test.txt', 'w')
f.writelines(data_list)
f.flush()
f.close

12.3.8 处理大文件

在读取上G文件时，直接读取所有内容会导致内存占用过多，内存爆掉。要想提高处理效率，有以下两种方法：

方法1：open()打开文件返回的对象本身就是可迭代的，利用for循环迭代可提高处理性能

>>> f = open('test.txt')
>>> for line in f:
...   print line   # 每行后面会有一个换行符\n，所以会打印出来换行符，可以使用line.strip('\n')去除
...
1.Python
2.Java
3.C++
4.Ruby

方法2：每次只读取固定字节

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt')
while True:
    data = f.read(1024)  # 每次只读取1024字节
    if not data: break

12.3.9 下载文件

方法1：
import urllib
url = "http://nginx.org/download/nginx-1.10.1.tar.gz"
urllib.urlretrieve(url, "nginx-1.10.1.tar.gz")
方法2：
import urllib2
url = "http://nginx.org/download/nginx-1.10.1.tar.gz"
f = urllib2.urlopen(url).read()
with open("nginx-1.10.1.tar.gz", "wb") as data:
    data.write(f)

12.4 fileinput

fileinput模块是Python内建模块，用于遍历文件，可对多文件操作。

方法

描述
fileinput.input([files[, inplace[, backup[, mode[, openhook]]]]])

files：文件路径，多文件这样写['1.txt,'2.txt'']

inplace：是否将标准输出写到原文件，默认是0，不写

backup：备份文件扩展名，比如.bak

mode：读写模式，默认r，只读

openhook：
fileinput.isfirstline() 检查当前行是否是文件的第一行
fileinput.lineno() 返回当前已经读取行的数量
fileinput.fileno() 返回当前文件数量
fileinput.filelineno() 返回当前读取行的行号
fileinput.filename() 返回当前文件名

12.4.1 遍历文件内容

#!/usr/bin/python
# -*- coding: utf-8 -*-
import fileinput
for line in fileinput.input('test.txt'):
    print line
    
# python test.py 
1.Python
2.Java
3.C++
4.Ruby

12.4.2 返回当前读取行的行号

#!/usr/bin/python
# -*- coding: utf-8 -*-
import fileinput
for line in fileinput.input('test.txt'):
    print fileinput.filelineno()
    print line,  # 逗号忽略换行符
    
# python test.py
1
1.Python
2
2.Java
3
3.C++
4
4.Ruby

12.4.3 全局替换字符，修改原文件

#!/usr/bin/python
# -*- coding: utf-8 -*-
import fileinput
for line in fileinput.input('test.txt', backup='.bak', inplace=1):
    line = line.replace('++','#')
    print line,

先把要操作的文件备份一个以.bak的后缀文件，inplace=1是将标准输出写到原文件，也就是这个脚本如果没有标准输出，就会以空数据写到原文件。

12.4.4 对多文件操作

#!/usr/bin/python
# -*- coding: utf-8 -*-
import fileinput
for line in fileinput.input(['test.txt', 'test2.txt']):
    print line,
12.4.5 实时读取文件新增内容，类似tail -f
#!/usr/bin/python
# -*- coding: utf-8 -*-
with open('access.log') as f:
     f.seek(0,2)   # 每次打开文件都将文件指针移动到末尾
     while True:  
         line = f.readline()
         if line:
             print line,

这个死循环会一直执行下面的操作。很消耗性能。

我们可以加个休眠，每秒读取一次：

#!/usr/bin/python
# -*- coding: utf-8 -*-
import time
with open('access.log') as f:
     f.seek(0,2)
     while True:
         line = f.readline()
         if line:
             print line,
         else:
             time.sleep(1)

12.5 shutil

shutil模块是Python内建模块，用于文件或目录拷贝，归档。

方法

描述
shutil.copyfile(src, dst) 复制文件
shutil.copytree(src, dst) 复制文件或目录
shutil.move(src, dst) 移动文件或目录
shutil.rmtree(path,ignore_errors=False, onerror=None) 递归删除目录。os.rmdir()不能删除有文件的目录，就可以用这个了
shutil.make_archive(base_name, format, root_dir=None, base_dir=None, verbose=0, dry_run=0, owner=None, group=None, logger=None)

Python2.7以后才有这个方法。

功能是创建zip或tar归档文件。

base_name：要创建归档文件名

format：归档文件格式，有zip、tar、bztar、gztar

root_dir：要压缩的目录

base_dir：？

用法：shutil.make_archive('wp','zip','/root/wordpress')   

12.6 with语句

在处理一些事务时，可能会出现异常和后续的清理工作，比如读取失败，关闭文件等。这就用到了异常处理语句try...except，如下：

#!/usr/bin/python
# -*- coding: utf-8 -*-
f = open('test.txt')
try:
    data = f.read()
finally:
    f.close()

Python对于这种情况提供了一种更简单的处理方式，with语句。处理一个文件时，先获取一个文件句柄，再从文件中读取数据，最后关闭文件句柄。如下：

#!/usr/bin/python
# -*- coding: utf-8 -*-
with open('test.txt') as f:
    data = f.read()

可见这种方式显得更简约，一些异常、清理工作都交给with处理了。

文章标签：
Python
Perl
Shell
运维
存储
关键词：
Python文件操作
李振良_阿良
目录
相关文章
半夜敲代码的夜猫子
|
1月前
|
开发者 Python
Python基础第七篇（Python的文件操作）
Python基础第七篇（Python的文件操作）
半夜敲代码的夜猫子
28 2
妄北y
|
1月前
|
数据处理 索引 Python
【Python学习篇】Python实验小练习——文件操作(十一)
【Python学习篇】Python实验小练习——文件操作(十一)
妄北y
39 1
梦回故国楼台梦
|
1月前
|
存储 安全 开发者
文件操作？Python让你轻松搞定！
【6月更文挑战第12天】Python编程中的文件操作至关重要，涉及数据存储和系统交互。通过内置的`open()`函数，开发者可轻松处理文件。以只读模式`'r'`为例，使用`with`语句打开并读取文件内容；写入文件则用`'w'`或`'a'`模式。文件对象还支持高级功能，如文件指针移动，允许随机访问。掌握这些技能能提升开发效率。
梦回故国楼台梦
18 0
jianz123
|
1天前
|
算法 Unix Python
python文件操作常用方法整理23
【7月更文挑战第23天】python文件操作常用方法整理
jianz123
16 7
蓝易云
|
25天前
|
Python
Python基本文件操作及os库
以上仅为Python文件操作和os库的基本用法，实际使用中需要根据具体需求进行调整。
蓝易云
15 1
蓝易云
|
26天前
|
Python
Python基本文件操作及os库
以上仅为Python文件操作和os库的基本用法，实际使用中需要根据具体需求进行调整。
蓝易云
18 1
啊猪是的读来过倒
|
1月前
|
JSON 安全 数据格式
Python文件操作宝典：一步步教你玩转文件读写
Python文件操作宝典：一步步教你玩转文件读写
啊猪是的读来过倒
29 3
Onebound19970109110
|
1月前
|
数据处理 Python
Python文件操作基础
Python文件操作涵盖打开、关闭、读取和写入。使用`open()`函数打开文件，`with`语句确保文件在使用后自动关闭。读取文件可逐行（`readline()`/`readlines()`)或一次性（`read()`）完成。写入文件以'w'模式覆盖内容，'a'模式追加。异常处理通过`try...except`捕获错误，如文件不存在或权限问题。了解这些基础，能提升Python编程中处理文件的效率。
Onebound19970109110
20 1
Python编程
|
1月前
|
安全 Python
Python：文件操作详细教程
Python：文件操作详细教程
Python编程
30 3
opapxflfyv4aq
|
2月前
|
Python
Python文件操作技术详解
Python文件操作技术详解
opapxflfyv4aq
30 1

热门文章

最新文章

  • 1
    四分历python实现
  • 2
    笨办法学 Python · 续 练习 11：`uniq`
  • 3
    含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)
  • 4
    【Python+C#】手把手搭建基于Hugging Face模型的离线翻译系统，并通过C#代码进行访问
  • 5
    适应python3的淘宝API核心base类
  • 6
    python操作csv
  • 7
    16Python标准系列之random模块
  • 8
    Python运算符
  • 9
    python_day1_基础
  • 10
    python 生成、删除、拷贝目录
  • 1
    【python】如何通过python来发送短信
    91
  • 2
    【视频】Python基于SVM和RankGauss的低消费指数构建模型
    180
  • 3
    Python在数据分析领域的应用研究
    49
  • 4
    Python web框架fastapi中间件的使用，CORS跨域详解
    132
  • 5
    Python web框架fastapi数据库操作ORM（二）增删改查逻辑实现方法
    136
  • 6
    Python web框架fastapi数据库操作ORM（一）
    244
  • 7
    python web框架fastapi模板渲染--Jinja2使用技巧总结
    142
  • 8
    Python高性能web框架--Fastapi快速入门
    77
  • 9
    机器学习--K近邻算法，以及python中通过Scikit-learn库实现K近邻算法API使用技巧
    38
  • 10
    Python中的for循环用法详解，一文搞定它
    62

    • 相关课程

    更多
  • Python Web开发基础
  • Python爬虫实战
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）
  • Python新手入门
    • 下一篇
    通义千问API入门教程