Android C++系列:Linux文件IO操作(二)

简介: 注意这个读写位置和使用C标准I/O库时的读写位置有可能不同,这个读写 位置是记在内核中的,而使用C标准I/O库时的读写位置是用户空间I/O缓冲区中的位置。比如用fgetc读一个字节,fgetc有可能从内核中预读1024个字节到I/O缓冲区中,再返回第一 个字节,这时该文件在内核中记录的读写位置是1024,而在FILE结构体中记录的读写位置是 1。

image.png


1.1 read/write


read函数从打开的设备或文件中读取数据。


#include <unistd.h>
ssize_t read(int fd, void *buf, size_t count); 
//返回值:成功返回读取的字节数,出错返回-1并设置errno,如果在调read之前已到达文件末尾,则这次read返回0


参数count是请求读取的字节数,读上来的数据保存在缓冲区buf中,同时文件的当前读 写位置向后移。


注意这个读写位置和使用C标准I/O库时的读写位置有可能不同,这个读写 位置是记在内核中的,而使用C标准I/O库时的读写位置是用户空间I/O缓冲区中的位置。比如用fgetc读一个字节,fgetc有可能从内核中预读1024个字节到I/O缓冲区中,再返回第一 个字节,这时该文件在内核中记录的读写位置是1024,而在FILE结构体中记录的读写位置是 1。


注意返回值类型是ssize_t,表示有符号的size_t,这样既可以返回正的字节数、0(表 示到达文件末尾)也可以返回负值-1(表示出错)。


read函数返回时,返回值说明了buf中 前多少个字节是刚读上来的。有些情况下,实际读到的字节数(返回值)会小于请求读的字节数count,例如:


  • 读常规文件时,在读到count个字节之前已到达文件末尾。例如,距文件末尾还有30个 字节而请求读100个字节,则read返回30,下次read将返回0。


  • 从终端设备读,通常以行为单位,读到换行符就返回了。


  • 从网络读,根据不同的传输层协议和内核缓存机制,返回值可能小于请求的字节数,后面socket编程部分会详细讲解。


write函数向打开的设备或文件中写数据。


#include <unistd.h>
ssize_t write(int fd, const void *buf, size_t count); 
返回值:成功返回写入的字节数,出错返回-1并设置errno


写常规文件时,write的返回值通常等于请求写的字节数count,而向终端设备或网络写则不一定。


1.2 阻塞和非阻塞


读常规文件是不会阻塞的,不管读多少字节,read一定会在有限的时间内返回。从终端设备或网络读则不一定,如果从终端输入的数据没有换行符,调用read读终端设备就会阻塞,如果网络上没有接收到数据包,调用read从网络读就会阻塞,至于会阻塞多长时间也是不确定的,如果一直没有数据到达就一直阻塞在那里。同样,写常规文件是不会阻塞的,而向终端设备或网络写则不一定。


现在明确一下阻塞(Block)这个概念。当进程调用一个阻塞的系统函数时,该进程被置于睡眠(Sleep)状态,这时内核调度其它进程运行,直到该进程等待的事件发生了(比如网络上接收到数据包,或者调用sleep指定的睡眠时间到了)它才有可能继续运行。与睡眠状态相对的是运行(Running)状态,在Linux内核中,处于运行状态的进程分为两种情况:


  • 正在被调度执行。CPU处于该进程的上下文环境中,程序计数器(eip)里保存着该进程的指令地址,通用寄存器里保存着该进程运算过程的中间结果,正在执行该进程的指令,正在读写该进程的地址空间。
  • 就绪状态。该进程不需要等待什么事件发生,随时都可以执行,但CPU暂时还在执行另 一个进程,所以该进程在一个就绪队列中等待被内核调度。系统中可能同时有多个就绪的进 程,那么该调度谁执行呢?内核的调度算法是基于优先级和时间片的,而且会根据每个进程 的运行情况动态调整它的优先级和时间片,让每个进程都能比较公平地得到机会执行,同时 要兼顾用户体验,不能让和用户交互的进程响应太慢。


下面这个小程序从终端读数据再写回终端。


1.2.1 阻塞读终端


#include <unistd.h> #include <stdlib.h>
int main(void) {
  char buf[10];
  int n;
  n = read(STDIN_FILENO, buf, 10); 
  if (n < 0) {
    perror("read STDIN_FILENO");
    exit(1); 
  }
  write(STDOUT_FILENO, buf, n);
  return 0; 
}


执行结果如下:


$ ./a.out hello(回车)
hello
$ ./a.out
hello world(回车) hello worl$ d
bash: d: command not found


一次执行a.out的结果很正常,而第二次执行的过程有点特殊,现在分析一下:


Shell进程创建a.out进程,a.out进程开始执行,而shell进程睡眠等待a.out进程退出。


a.out调用read时睡眠等待,直到终端设备输入了换行符才从read返回,read只读走10 个字符,剩下的字符仍然保存在内核的终端设备输入缓冲区中。


a.out进程打印并退出,这时shell进程恢复运行,Shell继续从终端读取用户输入的命令,于是读走了终端设备输入缓冲区中剩下的字符d和换行符,把它当成一条命令解释执 行,结果发现执行不了,没有d这个命令。


如果在open一个设备时指定了O_NONBLOCK标志,read/write就不会阻塞。以read为例, 如果设备暂时没有数据可读就返回-1,同时置errno为EWOULDBLOCK(或者EAGAIN,这两个宏定义的值相同),表示本来应该阻塞在这里(would block,虚拟语气),事实上并没 有阻塞而是直接返回错误,调用者应该试着再读一次(again)。这种行为方式称为轮询 (Poll),调用者只是查询一下,而不是阻塞在这里死等,这样可以同时监视多个设备:


while(1) { 
  非阻塞read(设备1); 
  if(设备1有数据到达)
    处理数据; 
  非阻塞read(设备2); 
  if(设备2有数据到达)
    处理数据; ...
}


如果read(设备1)是阻塞的,那么只要设备1没有数据到达就会一直阻塞在设备1的read 调用上,即使设备2有数据到达也不能处理,使用非阻塞I/O就可以避免设备2得不到及时处 理。


非阻塞I/O有一个缺点,如果所有设备都一直没有数据到达,调用者需要反复查询做无用功,如果阻塞在那里,操作系统可以调度别的进程执行,就不会做无用功了。在使用非阻塞I/O时,通常不会在一个while循环中一直不停地查询(这称为Tight Loop),而是每延迟 等待一会儿来查询一下,以免做太多无用功,在延迟等待的时候可以调度其它进程执行。


while(1) { 
  非阻塞read(设备1); 
  if(设备1有数据到达)
    处理数据; 
  非阻塞read(设备2); 
  if(设备2有数据到达)
    处理数据; 
  ...
  sleep(n);
}


这样做的问题是,设备1有数据到达时可能不能及时处理,最长需延迟n秒才能处理,而且反复查询还是做了很多无用功。以后要学习的select(2)函数可以阻塞地同时监视多个设 备,还可以设定阻塞等待的超时时间,从而圆满地解决了这个问题。


以下是一个非阻塞I/O的例子。目前我们学过的可能引起阻塞的设备只有终端,所以我们用终端来做这个实验。程序开始执行时在0、1、2文件描述符上自动打开的文件就是终 端,但是没有O_NONBLOCK标志。所以就像例 28.2 “阻塞读终端”一样,读标准输入是阻塞 的。我们可以重新打开一遍设备文件/dev/tty(表示当前终端),在打开时指定O_NONBLOCK 标志。


1.2.2 非阻塞读终端


#include <unistd.h> 
#include <fcntl.h> 
#include <errno.h> 
#include <string.h> 
#include <stdlib.h>
#define MSG_TRY "try again\n"
int main(void) {
  char buf[10];
  int fd, n;
  fd = open("/dev/tty", O_RDONLY|O_NONBLOCK); 
  if(fd<0) {
    perror("open /dev/tty");
    exit(1); 
  }
tryagain:
  n = read(fd, buf, 10); 
  if (n < 0) {
    if (errno == EAGAIN) { 
      sleep(1);
      write(STDOUT_FILENO, MSG_TRY, strlen(MSG_TRY));
      goto tryagain; 
    }
    perror("read /dev/tty");
    exit(1); 
  }
  write(STDOUT_FILENO, buf, n); close(fd);
  return 0;
}


以下是用非阻塞I/O实现等待超时的例子。既保证了超时退出的逻辑又保证了有数据到达时处理延迟较小。


1.2.3 非阻塞读终端和等待超时


#include <unistd.h> 
#include <fcntl.h> 
#include <errno.h> 
#include <string.h> 
#include <stdlib.h>
#define MSG_TRY "try again\n" 
#define MSG_TIMEOUT "timeout\n"
int main(void) {
  char buf[10];
  int fd, n, i;
  fd = open("/dev/tty", O_RDONLY|O_NONBLOCK); 
  if(fd<0) {
    perror("open /dev/tty");
    exit(1); 
  }
  for(i=0; i<5; i++) {
    n = read(fd, buf, 10); 
    if(n>=0)
      break; 
    if(errno!=EAGAIN) {
      perror("read /dev/tty");
      exit(1); 
    }
    sleep(1);
    write(STDOUT_FILENO, MSG_TRY, strlen(MSG_TRY)); 
  }
  if(i==5)
    write(STDOUT_FILENO, MSG_TIMEOUT, strlen(MSG_TIMEOUT));
  else
    write(STDOUT_FILENO, buf, n);
  close(fd);
  return 0; 
}


1.3 lseek


每个打开的文件都记录着当前读写位置,打开文件时读写位置是0,表示文件开头,通常读写多少个字节就会将读写位置往后移多少个字节。但是有一个例外,如果以O_APPEND方 式打开,每次写操作都会在文件末尾追加数据,然后将读写位置移到新的文件末尾。lseek 和标准I/O库的fseek函数类似,可以移动当前读写位置(或者叫偏移量)。


#include <sys/types.h>
 #include <unistd.h>
off_t lseek(int fd, off_t offset, int whence);


参数offset和whence的含义和fseek函数完全相同。只不过第一个参数换成了文件描述符。和fseek一样,偏移量允许超过文件末尾,这种情况下对该文件的下一次写操作将延长 文件,中间空洞的部分读出来都是0。


若lseek成功执行,则返回新的偏移量,因此可用以下方法确定一个打开文件的当前偏 移量:


off_t currpos;
currpos = lseek(fd, 0, SEEK_CUR);


这种方法也可用来确定文件或设备是否可以设置偏移量,常规文件都可以设置偏移量, 而设备一般是不可以设置偏移量的。如果设备不支持lseek,则lseek返回-1,并将errno 设置为ESPIPE。注意fseek和lseek在返回值上有细微的差别,fseek成功时返回0失败时返 回-1,要返回当前偏移量需调用ftell,而lseek成功时返回当前偏移量失败时返回-1。


1.4 fcntl


先前我们以read终端设备为例介绍了非阻塞I/O,为什么我们不直接对STDIN_FILENO做 非阻塞read,而要重新open一遍/dev/tty呢?因为STDIN_FILENO在程序启动时已经被自动 打开了,而我们需要在调用open时指定O_NONBLOCK标志。这里介绍另外一种办法,可以用 fcntl函数改变一个已打开的文件的属性,可以重新设置读、写、追加、非阻塞等标志(这 些标志称为File Status Flag),而不必重新open文件。


#include <unistd.h> #include <fcntl.h>
int fcntl(int fd, int cmd);
int fcntl(int fd, int cmd, long arg);
int fcntl(int fd, int cmd, struct flock *lock);


这个函数和open一样,也是用可变参数实现的,可变参数的类型和个数取决于前面的 cmd参数。下面的例子使用F_GETFL和F_SETFL这两种fcntl命令改变STDIN_FILENO的属性,加 上O_NONBLOCK选项,实现和例 28.3 “非阻塞读终端”同样的功能。


1.4.1 用fcntl改变File Status Flag


#include <unistd.h> 
#include <fcntl.h> 
#include <errno.h>  
#include <string.h> 
#include <stdlib.h>
#define MSG_TRY "try again\n"
int main(void) {
  char buf[10];
  int n;
  int flags;
  flags = fcntl(STDIN_FILENO, F_GETFL); flags |= O_NONBLOCK;
  if (fcntl(STDIN_FILENO, F_SETFL, flags) == -1) { 
    perror("fcntl");
    exit(1);
  } 
tryagain:
  n = read(STDIN_FILENO, buf, 10); 
  if (n < 0) {
    if (errno == EAGAIN) { 
      sleep(1);
      write(STDOUT_FILENO, MSG_TRY, strlen(MSG_TRY));
      goto tryagain; 
    }
    perror("read stdin");
    exit(1); 
  }
  write(STDOUT_FILENO, buf, n);
  return 0; 
}


1.5 ioctl


ioctl用于向设备发控制和配置命令,有些命令也需要读写一些数据,但这些数据是 不能用read/write读写的,称为Out-of-band数据。也就是说,read/write读写的数据是 in-band数据,是I/O操作的主体,而ioctl命令传送的是控制信息,其中的数据是辅助的数 据。例如,在串口线上收发数据通过read/write操作,而串口的波特率、校验位、停止位通 过ioctl设置,A/D转换的结果通过read读取,而A/D转换的精度和工作频率通过ioctl设置。


#include <sys/ioctl.h>
int ioctl(int d, int request, ...);


d是某个设备的文件描述符。request是ioctl的命令,可变参数取决于request,通常是 一个指向变量或结构体的指针。若出错则返回-1,若成功则返回其他值,返回值也是取决于 request。


以下程序使用TIOCGWINSZ命令获得终端设备的窗口大小。


#include <stdio.h> 
#include <stdlib.h> 
#include <unistd.h> 
#include <sys/ioctl.h>
int main(void) {
  struct winsize size;
  if (isatty(STDOUT_FILENO) == 0)
    exit(1);
  if(ioctl(STDOUT_FILENO, TIOCGWINSZ, &size)<0) {
    perror("ioctl TIOCGWINSZ error");
    exit(1); 
  }
  printf("%d rows, %d columns\n", size.ws_row, size.ws_col);
  return 0; 
}


在图形界面的终端里多次改变终端窗口的大小并运行该程序,观察结果。


1.6 总结


本文介绍了read/write的系统调用,以及阻塞、非阻塞相关的概念以及配置方式,等待超时方式。还介绍了lseek、fcntl、ioctl文件操作相关的系统调用。

目录
相关文章
|
4月前
|
C++ Windows
.NET Framework安装不成功,下载`NET Framework 3.5`文件,Microsoft Visual C++
.NET Framework常见问题及解决方案汇总,涵盖缺失组件、安装失败、错误代码等,提供多种修复方法,包括全能王DLL修复工具、微软官方运行库及命令行安装等,适用于Windows系统,解决应用程序无法运行问题。
343 3
|
存储 Linux C语言
Linux C/C++之IO多路复用(aio)
这篇文章介绍了Linux中IO多路复用技术epoll和异步IO技术aio的区别、执行过程、编程模型以及具体的编程实现方式。
618 1
Linux C/C++之IO多路复用(aio)
|
5月前
|
Linux C语言 网络架构
Linux的基础IO内容补充-FILE
而当我们将运行结果重定向到log.txt文件时,数据的刷新策略就变为了全缓冲,此时我们使用printf和fwrite函数打印的数据都打印到了C语言自带的缓冲区当中,之后当我们使用fork函数创建子进程时,由于进程间具有独立性,而之后当父进程或是子进程对要刷新缓冲区内容时,本质就是对父子进程共享的数据进行了修改,此时就需要对数据进行写时拷贝,至此缓冲区当中的数据就变成了两份,一份父进程的,一份子进程的,所以重定向到log.txt文件当中printf和fwrite函数打印的数据就有两份。此时我们就可以知道,
102 0
|
5月前
|
存储 Linux Shell
Linux的基础IO
那么,这里我们温习一下操作系统的概念我们在Linux平台下运行C代码时,C库函数就是对Linux系统调用接口进行的封装,在Windows平台下运行C代码时,C库函数就是对Windows系统调用接口进行的封装,这样做使得语言有了跨平台性,也方便进行二次开发。这就是因为在根本上操作系统确实像银行一样,并不完全信任用户程序,因为直接开放底层资源(如内存、磁盘、硬件访问权限)给用户程序会带来巨大的风险。所以就向银行一样他的服务是由工作人员隔着一层玻璃,然后对顾客进行服务的。
80 0
|
9月前
|
存储 网络协议 Linux
【Linux】进程IO|系统调用|open|write|文件描述符fd|封装|理解一切皆文件
本文详细介绍了Linux中的进程IO与系统调用,包括 `open`、`write`、`read`和 `close`函数及其用法,解释了文件描述符(fd)的概念,并深入探讨了Linux中的“一切皆文件”思想。这种设计极大地简化了系统编程,使得处理不同类型的IO设备变得更加一致和简单。通过本文的学习,您应该能够更好地理解和应用Linux中的进程IO操作,提高系统编程的效率和能力。
408 34
|
9月前
|
消息中间件 Linux C++
c++ linux通过实现独立进程之间的通信和传递字符串 demo
的进程间通信机制,适用于父子进程之间的数据传输。希望本文能帮助您更好地理解和应用Linux管道,提升开发效率。 在实际开发中,除了管道,还可以根据具体需求选择消息队列、共享内存、套接字等其他进程间通信方
239 16
|
11月前
|
Linux API C语言
Linux基础IO
Linux基础IO操作是系统管理和开发的基本技能。通过掌握文件描述符、重定向与管道、性能分析工具、文件系统操作以及网络IO命令等内容,可以更高效地进行系统操作和脚本编写。希望本文提供的知识和示例能帮助读者更深入地理解和运用Linux IO操作。
234 14
|
10月前
|
存储 算法 安全
基于哈希表的文件共享平台 C++ 算法实现与分析
在数字化时代,文件共享平台不可或缺。本文探讨哈希表在文件共享中的应用,包括原理、优势及C++实现。哈希表通过键值对快速访问文件元数据(如文件名、大小、位置等),查找时间复杂度为O(1),显著提升查找速度和用户体验。代码示例展示了文件上传和搜索功能,实际应用中需解决哈希冲突、动态扩容和线程安全等问题,以优化性能。
|
Ubuntu Linux 编译器
Linux/Ubuntu下使用VS Code配置C/C++项目环境调用OpenCV
通过以上步骤,您已经成功在Ubuntu系统下的VS Code中配置了C/C++项目环境,并能够调用OpenCV库进行开发。请确保每一步都按照您的系统实际情况进行适当调整。
2339 3

热门文章

最新文章

下一篇
oss云网关配置