读取大文件|学习笔记

简介: 快速学习 读取大文件

开发者学堂课程【Python 语言基础 3:函数、面向对象、异常处理读取大文件】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/601/detail/8770


读取大文件


内容简介:

一、read 函数应用

二、读取大文件的方式

 

一、Read() 函数应用

read() 读取文件内容

默认值是(read=-1)读取文件中所以的内容

文件太大直接调用 raed() 会导致文件内容在加载到系统内存中的时候导致文件丢失或者泄漏

haep( ) 查看命令的帮助手册

read(size =n) 可以接收一个 n (整数类型)做为参数,作为每次读取的字符数量

每次读取都是从上次读取到的位置开始读取如果字符数量小于 s ize 的值则读取剩余所以的字符读取到文件最后则返回‘ ’空的字符串.

with open(file_name, encoding='utf-8') as file_obj:

content = file_obj.read(size-1) # 参数设置为你每次读取的字符长度

printf(content)

 

二、读取大文件的方式

如果文件太大一次读取会对文件内存消耗大系统性能消耗大,分块读取就会降低内存消耗和系统性能的消耗

# 读取大文件示例如下

with open(file_name, encoding='utf-8') as file_obj:

#定义一个变量保存文件内容

file_content = ""

#定义一个变量,指定每次读取文件的大小

chunk = 100

#创建一个循环来读取文件的内容

while True:

#读取chunk大小的内容

content file_obj.read(chunk)

#检查是否读取到了内容

if not content:

break

#输出内容

printf(content,end='')

相关文章
|
存储 编解码 数据可视化
【Matplotlib】figure方法之图形的保存
【Matplotlib】figure方法之图形的保存
596 1
|
NoSQL Redis
Redis集群(六):集群常用命令及说明
Redis集群(六):集群常用命令及说明
555 0
|
SQL 传感器 物联网
使用Apache IoTDB进行IoT相关开发的架构设计与功能实现(10)
物联网提供限制/限制条款和偏移/偏移子句,以使用户对查询结果有更多的控制权。使用 LIMIT 和 SLIMIT 子句允许用户控制查询结果的行数和列数,使用 OFFSET 和 SOFSET 子句允许用户设置结果的起始位置进行显示。
229 0
|
关系型数据库 MySQL Linux
Linux安装MySQL(只针对这个8.0版本其他版本的MYSQL不知道是不是也可以用可以自己尝试)
Linux安装MySQL(只针对这个8.0版本其他版本的MYSQL不知道是不是也可以用可以自己尝试)
128 0
|
域名解析 弹性计算 网络协议
阿里云搭建网站(阿里云建站攻略)
阿里云搭建网站(阿里云建站攻略) 阿里云轻量应用服务器怎么使用?阿里云轻量应用服务器使用教程:轻量应用服务器购买、重置密码、远程连接、宝塔面板的Web环境搭建、WordPress网站程序安装到网站上线,阿里云服务器网分享轻量应用服务器从购买、配置建站环境、轻量服务器应用服务器远程连接、开端口到网站上线全流程
263 0
|
算法
【优选算法】——滑动窗口——1004. 最大连续1的个数 III
【优选算法】——滑动窗口——1004. 最大连续1的个数 III
uni-app 12.1设置朋友圈动态权限
uni-app 12.1设置朋友圈动态权限
86 0
uni-app 12.1设置朋友圈动态权限
|
JSON 前端开发 JavaScript
Vite和Webpack区别
Vite和Webpack区别
283 0
|
前端开发 Java 关系型数据库
Jsp实现BBS论坛交流系统
Jsp实现BBS论坛交流系统
252 0
Jsp实现BBS论坛交流系统
|
Windows
Windows系统 winver命令详解,Windows系统使用命令行查看系统版本
第一步、打开cmd 按下 win 键,输入 cmd 后回车,打开「命令提示符」
1158 0
Windows系统 winver命令详解,Windows系统使用命令行查看系统版本