系统编程之高级文件IO(九)——存储映射

简介: 系统编程之高级文件IO(九)——存储映射

一、普通读写文件的特点


cpu执行一堆的函数,很耗费cpu资源,而且浪费时间

中间一堆的缓存都是函数从内存开辟的,浪费内存资源,而且数据在各缓存间倒腾时也很耗费时间

面对大量数据时显得很吃力十


二、存储映射读取


0a2653c851af460fa595bd959398a8f1.png


2.1 mmap


系统API最多6个参数

头文件:#include

原型:void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset)


addr:人为指定映射的起始虚拟地址

设置为NULL,表示由内核决定映射的起始虚拟地址,这也是最常见的设置

设置不为NULL,就表示由自己指定,指定的起始虚拟地址必须是虚拟页(4k)的整数倍


length:映射长度,也就是你想对文件映射多长


prot:指定对映射区的操作权限

2d65d23f6d4748949b924e4057485923.png

PROT_EXEC | PROT_READ


flags:向映射区写入了数据,是否将数据立即更新到文件中。——MAP_SHARED:立即更新


2e9b90b2ca334476abebe75bafe6eeaa.png


fd:需要被映射文件的描述符


offset:(偏移量)表示从文件头的offset处开始映射,一般都指定为0,表示从文件头开始映射


返回值:调用成功,返回映射的起始虚拟地址,失败则返回(void *)NULL, errno被设置


2.2 解除映射


头文件:

#include

#include

原型:int munmap(void *addr, size_t length);

addr:映射的起始虚拟位置

length:需要取消的长度

返回值:调用成功返回0,失败则-1,errno被设置


2.3 mmap函数主要用途


将一个普通文件映射到内存中,通常在需要对文件进行频繁读写时使用,这样用内存读写取代I/O读写,以获得较高的性能,节省开销

将特殊文件进行匿名内存映射,可以为关联进程提供共享内存空间:

为无关联的进程提供共享内存空间,一般也是将一。 个普通文件映射到内存中。


2.4 注意事项


如果是个全新的文件,文件大小为0,所以映射区域为0,再往里面拷贝,所以长度和空间都是0

结论:新文件用mmap进行读写操作时不可以的

解决:


ftruncate(fd, size);改变文件的大小

0a2653c851af460fa595bd959398a8f1.png

对于新文件,需要给其扩容

ftruncate(fd, 1024);
ftruncate(fd, strlen(buffer)); //后面不加这句话,截取会长,出现乱码
相关文章
|
1月前
|
Java Unix Go
【Java】(8)Stream流、文件File相关操作,IO的含义与运用
Java 为 I/O 提供了强大的而灵活的支持,使其更广泛地应用到文件传输和网络编程中。!但本节讲述最基本的和流与 I/O 相关的功能。我们将通过一个个例子来学习这些功能。
156 1
|
5月前
|
XML JSON Go
Go语言中的文件与IO:JSON、CSV、XML处理
本文介绍了 Go 语言中对 JSON、CSV 和 XML 三种常见数据格式的处理方法。通过标准库 `encoding/json`、`encoding/csv` 和 `encoding/xml`,可以实现结构体与数据格式之间的序列化与反序列化。JSON 适合 Web API 和前后端通信,因其清晰易读;CSV 适用于表格数据和轻量级交换;XML 则支持复杂嵌套结构,常用于配置文件和 SOAP 协议。文中提供代码示例,涵盖基本使用、嵌套结构处理及实战建议,帮助开发者高效操作这些格式。
|
5月前
|
Unix Go
Go语言中的文件与IO:文件读写
本文介绍了 Go 语言中文件操作的基础方法,涵盖打开与关闭文件、读取和写入文件内容、追加写入以及复制文件等功能。通过 `os`、`bufio` 和 `io` 等标准库包,提供了高效且灵活的实现方式,如使用 `os.ReadFile` 读取整个文件、`bufio.Scanner` 逐行读取、`os.Create` 创建文件以及 `io.Copy` 复制文件内容。同时强调了错误处理的重要性,例如使用 `defer` 确保文件关闭,并推荐注意文件权限设置(如 UNIX 系统中的 `0644`)。最后以表格形式总结了常用操作及其推荐方法,便于快速查阅和应用。
|
5月前
|
Go 数据处理
Go语言中的文件与IO:bufio 和 scanner
Go 标准库中的 `bufio` 包高效读写功能,适用于文件和数据处理。`bufio.Reader` 支持按行或分隔符读取,`bufio.Writer` 提供高性能写入并需调用 `Flush()` 确保数据写入。`bufio.Scanner` 是处理文本文件(如日志、配置)的利器,可按行、单词等分割内容。本文详解其用法,并给出实践建议,如统计字符数、模拟 `tail -f` 和词频分析等。
|
9月前
|
存储 网络协议 Linux
【Linux】进程IO|系统调用|open|write|文件描述符fd|封装|理解一切皆文件
本文详细介绍了Linux中的进程IO与系统调用,包括 `open`、`write`、`read`和 `close`函数及其用法,解释了文件描述符(fd)的概念,并深入探讨了Linux中的“一切皆文件”思想。这种设计极大地简化了系统编程,使得处理不同类型的IO设备变得更加一致和简单。通过本文的学习,您应该能够更好地理解和应用Linux中的进程IO操作,提高系统编程的效率和能力。
395 34
|
8月前
|
机器学习/深度学习 API Python
Python 高级编程与实战:深入理解网络编程与异步IO
在前几篇文章中,我们探讨了 Python 的基础语法、面向对象编程、函数式编程、元编程、性能优化、调试技巧、数据科学、机器学习、Web 开发和 API 设计。本文将深入探讨 Python 在网络编程和异步IO中的应用,并通过实战项目帮助你掌握这些技术。
|
11月前
|
存储 Java API
【JavaEE】——文件IO(万字长文)
文件路径,文本文件,二进制文件,File类,文件流,字节流(InputStream,OutputStream)字符流(Reader,Writer)
|
存储 Java
【IO面试题 四】、介绍一下Java的序列化与反序列化
Java的序列化与反序列化允许对象通过实现Serializable接口转换成字节序列并存储或传输,之后可以通过ObjectInputStream和ObjectOutputStream的方法将这些字节序列恢复成对象。
|
Java 大数据
解析Java中的NIO与传统IO的区别与应用
解析Java中的NIO与传统IO的区别与应用
|
Java 大数据 API
Java 流(Stream)、文件(File)和IO的区别
Java中的流(Stream)、文件(File)和输入/输出(I/O)是处理数据的关键概念。`File`类用于基本文件操作,如创建、删除和检查文件;流则提供了数据读写的抽象机制,适用于文件、内存和网络等多种数据源;I/O涵盖更广泛的输入输出操作,包括文件I/O、网络通信等,并支持异常处理和缓冲等功能。实际开发中,这三者常结合使用,以实现高效的数据处理。例如,`File`用于管理文件路径,`Stream`用于读写数据,I/O则处理复杂的输入输出需求。
685 12