LINUX系统编程 关于SDTIO库缓冲区

简介: 我们知道标准C中的文件读取的函数比如printf,fwrite等函数,实际都是调用OS级别的 API,比如LINUX下就是wirte,read函数,而write read函数在用户态下是没有缓冲的, 当然在内核态有OS CACHE/OS BUFFER,所以某些...

我们知道标准C中的文件读取的函数比如printf,fwrite等函数,实际都是调用OS级别的
API,比如LINUX下就是wirte,read函数,而write read函数在用户态下是没有缓冲的,
当然在内核态有OS CACHE/OS BUFFER,所以某些直接调用wirte,read的程序肯定会
分配一个缓冲区,特别是O_DIRECT这种方式下,内核态的OS CACHE和OS BUFFER没用
这种情况下用户态的BUFFER显得更加重要,因为不可能一次读一个字节吧,那性能可想而知


而作为用户态空间的STDIO也是这样做的,它会为打开的文件分配缓存,默认应该是8192字节
如下图摘自UNIX系统编程手册 13章:


实际上我们可以使用setvbuf来设置某个打开文件的缓冲大小及模式。
我们来看看原型:
int setvbuf(FILE *stream, char *buf, int mode, size_t size);
返回0为成功,非零为失败
FILE *stream:打开文件的FILE*
char *buf:BUFFER的地址,如果为NULL,MODE为_IOLBF和_IOFBF则自动分配缓冲区
           如果为_IONBF则不分配缓冲区
int mode:_IONBF不使用缓冲区,立即调用write/read,忽略buf和size为NULL和0,stderr属于这个
          _IOLBF使用行缓冲I/O,终端设备默认为这种。要么遇到换行符要么缓冲满才调用write/read,
          stdin/stdout属于这个。
          _IOFBF采用全缓冲I/O,buffer满才调用write/read,磁盘I/O属于这个比如fwrite/fread
size_t size:缓冲大小


更简单函数setbuf原型如下:
void setbuf(FILE *stream, char *buf);
相当于
setvbuf(fp,buf,(buf !=NULL)?_IOFBF:_IONBF,BUFSIZ);


如果buf=NULL则_IONBF打开不带缓冲,或者调用全缓冲,BUFSIZ默认8192。
所以我们如果不想用缓冲直接:
setvbuf(fp,NULL)
即可。


现在回想一下fread
size_t fread(void *ptr, size_t size, size_t nmemb, FILE *stream);


fread的时候我们通常要calloc一块内存用于void *ptr,那么现在我们想一下实际
上这个数据正常缓存到了3个地方
1、用户分配的内存*ptr
2、STDIO的缓存默认8192
3、内核态OS CACHE
这视乎有点臃肿,我们可以想办法简化。事实上数据库软件有时候只使用了用户态
的一份缓存,而打开O_DIRECT来提高性能。


下面一个小程序可以验证打开和关闭stdout缓冲的区别:


int main(void)
{
        int i;
//      setbuf(stdout,NULL);


        for(i=0;i<10;i++)
        {
                printf("-");
                sleep(1);
        }


        printf("\n");
}


区别就是是否使用setbuf,如果使用setbuf则 -符号会一个一个输出,不使用会一起输出
这就是STDIO缓存在作怪。
相关文章
|
23天前
|
缓存 Java Linux
如何解决 Linux 系统中内存使用量耗尽的问题?
如何解决 Linux 系统中内存使用量耗尽的问题?
107 48
|
19天前
|
Ubuntu Linux 网络安全
linux系统ubuntu中在命令行中打开图形界面的文件夹
在Ubuntu系统中,通过命令行打开图形界面的文件夹是一个高效且实用的操作。无论是使用Nautilus、Dolphin还是Thunar,都可以根据具体桌面环境选择合适的文件管理器。通过上述命令和方法,可以简化日常工作,提高效率。同时,解决权限问题和图形界面问题也能确保操作的顺利进行。掌握这些技巧,可以使Linux操作更加便捷和灵活。
15 3
|
23天前
|
Linux
在 Linux 系统中,`find` 命令
在 Linux 系统中,`find` 命令
25 1
|
23天前
|
网络协议 Linux 虚拟化
如何在 Linux 系统中查看进程的详细信息?
如何在 Linux 系统中查看进程的详细信息?
46 1
|
7天前
|
存储 Oracle 安全
服务器数据恢复—LINUX系统删除/格式化的数据恢复流程
Linux操作系统是世界上流行的操作系统之一,被广泛用于服务器、个人电脑、移动设备和嵌入式系统。Linux系统下数据被误删除或者误格式化的问题非常普遍。下面北亚企安数据恢复工程师简单聊一下基于linux的文件系统(EXT2/EXT3/EXT4/Reiserfs/Xfs) 下删除或者格式化的数据恢复流程和可行性。
|
24天前
|
Linux 网络安全 数据安全/隐私保护
Linux 超级强大的十六进制 dump 工具:XXD 命令,我教你应该如何使用!
在 Linux 系统中,xxd 命令是一个强大的十六进制 dump 工具,可以将文件或数据以十六进制和 ASCII 字符形式显示,帮助用户深入了解和分析数据。本文详细介绍了 xxd 命令的基本用法、高级功能及实际应用案例,包括查看文件内容、指定输出格式、写入文件、数据比较、数据提取、数据转换和数据加密解密等。通过掌握这些技巧,用户可以更高效地处理各种数据问题。
55 8
|
24天前
|
监控 Linux
如何检查 Linux 内存使用量是否耗尽?这 5 个命令堪称绝了!
本文介绍了在Linux系统中检查内存使用情况的5个常用命令:`free`、`top`、`vmstat`、`pidstat` 和 `/proc/meminfo` 文件,帮助用户准确监控内存状态,确保系统稳定运行。
152 6
|
25天前
|
Linux
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
66 3
|
25天前
|
监控 安全 Linux
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
62 2
|
7天前
|
Linux Shell
Linux 10 个“who”命令示例
Linux 10 个“who”命令示例
32 14
Linux 10 个“who”命令示例