linux系统编程 文件io

简介: linux系统编程 文件io

1. 文件io讲些什么

文件io这一章讲的是,如何调用Linux OS所提供的相关的OS API,实现文件的读写。

1.1如何理解“文件IO”这个词

IO就是input output的意思,文件io就是文件输入输出,也就是文件读写。
读写的是什么?
答:是数据。
不过读文件和写文件,到底哪一个是input,哪一个是output呢?
答:input和output,其实是以CPU作为参考点来看的:
                    o(写)  
        C     ——————————>  文
        P  <——————————     件
        U   i(读)
疑问:为什么不能越过OS,直接操作文件呢?
答:当有OS的时候,应用程序基于OS运行时,必须通过OS API假借OS之手,才能操作底层硬件,无法回避。

1.2 本章所涉及的OS API(系统函数)有哪些

(1)open函数:打开文件
(2)close函数:关闭文件
(3)read函数:从打开的文件读数据
(4)write函数:向打开的文件写数据
(5)lseek函数:移动在文件中要读写的位置
(7)dup函数:文件读写位置重定位函数,本来是写到这个文件,重定位后可以写到另一个文件里面
(11)fcntl函数:文件描述符设置函数
(12)ioctl函数:一个特殊的函数

注意:
本章的函数,在后续课程中会频繁使用,所以这些函数一定要会用,但是不要去死记,函数参数很多,想记也记不住,涉及细节时,使用man查一查自然就知道了。

2. 文件的读写的简单例子

2.1文件读写三步曲

  • 打开文件
    open函数
  • 读、写等操作文件
    read、write函数
  • 关闭文件
    close函数
  • 程序演示
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
int main(void)
{
  int fd = 0;
  fd = open("./file.txt", O_RDWR);
  if(-1 == fd)
  {
    printf("open fail\n");
    return 0;
  }
  else
  {
    printf("open ok\n");
  }
  char buf1[] = "hello world";
  write(fd, (void *)buf1, 11);
  lseek(fd, 0, SEEK_SET);
  char buf2[30] = {0};
  read(fd, buf2, sizeof(buf2));
  printf("buf2 = %s\n", buf2);  
  close(fd);
  return 0;
}
程序解释:
1)open函数      
  (a)利用文件名,通过文件系统找到块设备上的文件
  图:

· 文件系统就是一个程序代码,组织管理着块设备上的所有文件
    · 文件系统属于OS的一部分
  (b)找到文件后,调用块设备驱动程序,打开文件
      驱动程序也是属于OS的一部分。
      · 打开成功:返回一个非负整数的操作符(文件描述符)
      · 打开失败:返回-1,表示打开失败
        使用fd存放返回值,便于我们使用这个返回值。文件打开成功后就可以操作文件了。
2)write函数
  利用打开成功后返回的,非负整数的文件描述符,向文件里面写数据。
3)lseek函数
  利用文件描述符,将文件读写的位置调整到文件头上。
  为什么要调到文件头上?
  write时,文件读写的位置到了末尾了,read读末尾的话,读到的内容就是空的,看不到read的效果。
4)read函数
  从文件头上开始,读取指定长度的数据到buf中。
  printf打印显示,查看效果。

2.2 open打开文件时,open具体做了哪些事情

如果open打开失败的话(比如文件不存在就会导致失败),open啥也不会干就直接返回了。
但是如果open将文件打开成功的话,open具体做了哪些事情呢?
  1)记录打开文件的信息
    程序运行起来后就是一个进程了,OS会创建一个task_struct的结构体,记录进程运行时的各种信
  息,比如所打开文件的相关信息;open将文件成功打开后,在task_struct中又会创建一些结构体(数
  据结构),用于记录当前进程目前所开文件的信息,后续所有的文件操作,都需要依赖于这些信息,其中
  就包括指向打开文件的文件描述符。
          图:

2)open函数会申请一段内存空间(内核缓存),后续读写文件时,用于临时缓存读写文件时的数据
          图:

(a)什么是缓存?
      就是开辟的一段内存空间,比如char buf[100],这就是一段100字节的缓存空间,用于临时
    存放中转的数据。
    (b)为什么叫内核缓存?
      open是OS所提供的系统函数,属于OS内核的一部分,所以open函数所开辟的缓存空间,就是
    内核缓存。
      在我们的例子程序中,我定义了buf1和buf2这两个数组,这两个数组是我自己的应用程序定义
    的,因此就叫应用缓存。
      其实定义的一切变量空间,比如int a,int b[30]等,都是缓存,都是用于临时缓存数据,
    只是我们以前没有这么叫过。
    (c)open为什么要开内核缓存空间?
      内存读写速度 > 磁盘读写速度的,有了在内存中开辟的内核缓存后,上层读写数据时,
    会直接读写缓存,速度会很快,至于缓存与磁盘上文件数据的交换,就留给下层去做,这样可
    以节省上层操作的时间。
    (d)注意:open时只是开辟了内核缓存空间,里面并没有数据,只有当进行读写数据时,才会缓存
    读写的数据。
    (e)读写时,缓存间数据的流动是怎样的?
      写数据:应用缓存 -->内核缓存 -->驱动缓存-->硬件(块设备)
      读数据:硬件(块设备)-->驱动缓存 -->内核缓存 -->应用缓存

3. open函数

3.1 函数原型

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
int open(const char *pathname, int flags);
功能:只能打开存在的文件,如果文件不存在就返回-1报错。
int open(const char *pathname, int flags, mode_t mode);
功能:如果文件存在就直接打开,如果文件不存在,就按照mode指定的文件权限,创建一个该名字的新文件。
也就是说三个参数时,不仅包含打开已存在文件的功能,还多了一个创建文件的功能。

3.2 open函数返回值

如果打开成功,返回一个非负整数的文件描述符。
如果打开失败,返回-1,并且设置错误号给系统定义的全局变量errno,用于标记函数到底出了什么错误。
有关errno和错误号,后面会详细介绍。

3.3 open函数的重点:flags参数

参数1:pathname,表示路径名,很简单
参数3:mode,创建文件时,用于指定文件的原始权限,其实就是rwxrwxr--。
3.3.1 flags 之 O_RDONLY、O_WRONLY、O_RDWR、O_TRUNC、O_APPEND
  • flags的作用
    flags用于指定文件的打开方式,这些宏还可以使用|组合,比如O_RDONLY | O_APPEND,同时指定多个宏。
    不要被这些宏吓到了,理解了,用多了,自然就熟悉了,不用可以去记住,想不起来了,使用man查看open函数就能知道。
    这些宏对应的就是一些整形数,#define O_RDONLY 2。
  • 这些宏被定义在了那里?
    定义在了open所需要的头文件中,使用open函数时,必须要包含对应的头文件,否者,这些宏你就用不了。
    (1)宏的含义
(a)O_RDONLY:只读方式打开文件,只能对文件进行读     
 (b)O_WRONLY:只写方式打开文件,只能对文件记性写
 (c)O_RDWR:可读可写方式打开文件,既能读文件,也能写文件
  以上这三个在指定时,只能唯一指定,不可以组合,比如O_RDONLY|O_WRONLY。
 (d)O_TRUNC:打开时将文件内容全部清零空
 (e)O_APPEND:打开文件后,写数据时,原有数据保留,新写的数据追加到文件末尾,此选项很重要。
  APPEND本来就是追加的意思。
  如果不指定这个选项的话,新写入的数据会从文件头上开始写,覆盖原有的数据,所有以后
  会经常使用这个选项。
 (f)O_NONBLOCK和O_ASYNC:后面的课程用到后,再来介绍。
  • (2) 代码演示
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
int main(void)
{
  int fd = 0;
  int ret = 0;
  fd = open("./file.txt", O_RDWR);
  //fd = open("./file.txt", O_RDWR|O_APPEND);
  //fd = open("./file.txt", O_RDWR|O_TRUNC);
  //fd = open("./file.txt", O_RDONLY);
  //fd = open("./file.txt", O_WRONLY);
  if(-1 == fd)
  {
    printf("open fail\n");
    return 0;
  }
  else
  {
    printf("open ok\n");
  }
  char buf1[] = "hello world";
  ret = write(fd, (void *)buf1, 11);
  if(ret == -1)
  {
    printf("write fail\n");
  }
  lseek(fd, 0, SEEK_SET);
  char buf2[30] = {0};
  ret = read(fd, buf2, sizeof(buf2));
  if(-1 == ret)
  {
    printf("read fail\n");
  }
  printf("buf2 = %s\n", buf2);  
  close(fd);
  return 0;
}
3.3.2 flags参数 之 O_CREAT、O_EXCL
(1)O_CREAT
  1)open两个参数时的缺点
    只能用于打开已经存在的文件,如果文件不存在就返回-1报错。
  2)O_CREAT的作用
    可以解决两个参数的缺点,指定O_CREAT时,如果:
    (a)文件存在:直接打开
    (b)文件不存在:创建该“名字”的文件。
      不过指定O_CREAT,需要给open指定第三个参数mode,用于指定新创建文件的原始权限。
      int open(const char *pathname, int flags, mode_t mode);
    这个权限就是文件属性中的rwxrwxr--。
(2)O_EXCL
    当O_EXCL与O_CREAT同时被指定,打开文件时,如果文件之前就存在的话,就报错。
    意义:保证每次open的是一个新的文件,如果文件以前就存在,提醒你open的不是一个新文件。
    后面具体用到了,你自然就知道O_EXCL的实用价值了。

3.4 详论文件描述符

3.4.1 什么是文件描述符
open成功就会返回一个非负整数(0、1、2、3...)的文件描述符,比如我们示例程序中open返回的文
件描述符是3。
  文件描述符指向了打开的文件,后续的read/write/close等函数的文件操作,都是通过文件描述符来实
现的。
3.4.2 文件描述符池
每个程序运行起来后,就是一个进程,系统会给每个进程分配0~1023的文件描述符范围,也就是说每个进
程打开文件时,open所返回的文件描述符,是在0~1023范围中的某个数字。0~1023这个范围,其实就是文件
描述符池。
  1023这个上限可不可以改?
  可以,但是没有必要,也不会介绍如何去改,因为一个进程基本不可能出现,同时打开1023个文件的情况
,文件描述符的数量百分百够用。
3.4.3 在我们的例子中,为什么open返回的是3
open返回文件描述符是有规则的:
  规则就是,open返回文件描述符池中,当前最小没用的哪一个。
  进程一运行起来,0/1/2默认就被使用了,最小没被用的是3,所以返回3。
  如果又打开一个文件,最小没被用的就应该是4,所以open返回的应该是4。
  疑问:0、1、2被用来干嘛了,后面解释。
3.4.4 文件关闭后,被文件用的描述符怎么办
会被释放,等着下一次open时,被重复利用。
3.4.5 open的文件描述符 与 fopen的文件指针
(1)open:Linux 的系统函数(文件io函数)
  open成功后,返回的文件描述符,指向了打开的文件。
(2)fopen:C库的标准io函数
  #include <stdio.h>        
  FILE *fopen(const char *path, const char *mode);
  fopen成功后,返回的是FILE *的文件指针,指向了打开的文件。
(3)对于Linux的C库来说,fopen 这个C库函数,最终其实还是open函数来打开文件的
  fopen只是对open这个函数做了二次封装。
                    应用程序
                        |
                        |
              FILE* fopen标准io函数(c库函数)
                        |
                        |
              int open文件io函数(Linux系统函数)
   也就是说,fopen的文件指针,最终还是会被换成open的文件描述符,然后用于去操作打开的文件。
讲第3章-C库的标准io函数时,会详细介绍文件指针与文件描述符之间的关系。

3.5 errno和错误号

在我们的例子中,如果open失败了,只是笼统的打印出“打开文件失败了”,但是并没有提示具体出错的原
因,没有详细的出错原因提示,遇到比较难排查的错误原因时,很难排查出具体的函数错误。     
  open失败,如何具体打印出详细的出错信息呢?
  这就不得不提errno的作用了。
(1)什么是ernno?
  函数调用出错时,Linux系统使用错误编号(整形数)来标记具体出错的原因,每个函数有很多错误号,
每个错误号代表了一种错误,产生这个错误时,会自动的将错误号赋值给errno这个全局变量。
  errno是Linux系统定义的全局变量,可以直接使用。
  错误号和errno全局变量被定义在了哪里?
    都被定义在了errno.h头文件,使用errno时需要包含这个头文件。
    man errno,就可以查到errno.h头文件。
(2)打印出具体的出错原因
  1)printf打印出错误号
    使用errno时,编译提示‘errno’ undeclare的错误,表示找不到errno全局变量。
    错误号确实标记了具体的出错原因,但是我们并不知道这个错误号,具体到底代表的是什么错误。
  就好像光给你某人的身份证号,仅凭这个身份证号你无法判断是那一个人,需要换成名字才成。
  2)perror函数
    perror函数可以自动将“错误号”换成对应的文字信息,并打印出来,方便我们理解。
    man perror
    perror是一个C库函数,不是一个系统函数。
    perror的工作原理?
    调用perror函数时,它会自动去一张对照表,将errno中保存的错误号,换成具体的文字信息并打
  印出来,我们就能知道函数的具体错误原因了。
  3)man 2 open,可以查看open函数,都有哪些错误号
    每个错误号代表了一种函数可能的出错情况,比如:
    EACCES:不允许你访问文件而出错。
    Liunx为了让错误号能够见名识意,都给这些整形的错误号定义了对应的宏名,这些宏定义都被定义
  在了error.h头文件中。man perror这个函数,也可以看到这个头文件。
    疑问:我是不是要必须记住这些错误号?
      答:反正我是记不住,记不住怎么办?
      根本不需要记住,使用perror函数,它可以自动翻译,我们讲错误号,只是希望你理解错误号
    这个东西,后面的课程会经常见到东西,到了后面我就不再介绍。

使用演示:

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <errno.h>
int main(void)
{
  int fd = 0;
  fd = open("./file.txt", O_RDWR);
  //fd = open("./file.txt", O_RDWR|O_CREAT|O_EXCL, 0664);
  if(-1 == fd)
  {
    printf("open fail: %d\n", errno);
    perror("open fail");
    return 0;
  }
  else
  {
    printf("open ok\n");
    printf("fd = %d\n", fd);
  }
  char buf1[] = "hello world";
  write(fd, (void *)buf1, 11);
  lseek(fd, SEEK_SET, 0);
  char buf2[30] = {0};
  read(fd, buf2, sizeof(buf2));
  printf("buf2 = %s\n", buf2);  
  close(fd);
  return 0;
}

4. close、write、read、0/1/2这三个文件描述符

4.1 close函数

4.1.1 功能
关闭打开的文件。
close(fd);
就算不主动的调用close函数关闭打开的文件,进程结束时,也会自动关闭进程所打开的所有的文件。
但是如果因为某种需求,你需要在进程结束之前关闭文件的话,就主动的调用close函数来实现。
Linux c库的标准io函数fclose,向下调用时,调用就是close系统函数。
4.1.2 close关闭文件时做了什么
(1)open打开文件时,会在进程的task_struct结构中,创建相应的结构体,以存放打开文件的相关信息。
(2)结构体的空间开辟于哪里
  open函数会通过调用类似malloc的函数,在内存中开辟相应的结构体空间,如果文件被关闭,存放该文
件被打开时信息的结构体空间,就必须被释放,类似free(空间地址);不过malloc和free是给C应用程序调
用的库函数,Linux系统内部开辟和释放空间时,用的是自己特有的函数。如果不释放,当前进程的内存空间
,会被一堆的站着茅坑不拉屎的垃圾信息所占用,随后会导致进程崩溃,甚至是Linux系统的崩溃。这就好比
一个挺大的仓库,每次废弃的物品都不及时清理,最后整个空间全被垃圾塞满,仓库还是那个仓库,但是仓
库瘫痪了,无法被正常使用。因此close文件时,会做一件非常重要的事情,释放存放文件打开信息的结构体
空间。
(3)有关task_stuct结构体
  1)这个结构体用于存放进程在运行的过程中,所涉及到的各种信息,其中就包括进程所打开文件的相关
信息。
  2)task_stuct结构体,什么时候开辟的?
    进程(程序)开始运行时,由Linux系统调用自己的系统函数,在内存中开辟的,
    代码定义个各种变量(int a、数组、结构体、对象等),开辟这些空间时,这些空间都是来自于
  内存。
    每一个进程都有一个自己的task_stuct结构体,用于记录自己的所有相关信息,这就好比每一个人
  ,在公安局都有一份属于自己的档案信息,task_stuct结构体记录的就是,进程在活着时的一切档案
  信息。
  3)什么时候释放
    进程运行结束了,Linux系统会调用自己的系统函数,释放这个结构体空间,如果不释放的话,每运
  行一个进程就开辟一个,但是进程结束后都不释放,最后会导致Linux系统自己的内存空间不足,从而
  使得整个Linux系统崩溃。

4.2 write函数

函数原型:

#include <unistd.h>
ssize_t write(int fd, const void *buf, size_t count);
(1)功能:向fd所指向的文件写入数据。
(2)参数
    1)fd:指向打开的文件
    2)buf:保存数据的缓存空间的起始地址
    3)count:从起地址开始算起,把缓存中count个字符,写入fd指向的文件
数据中转的过程:
应用缓存(buf)————>open打开文件时开辟的内核缓存——————>驱动程序的缓存——————>块设备上的文件
(3)返回值
    调用成功:返回所写的字符个数
    调用失败:返回-1,并给errno自动设置错误号,使用perror这样的函数,就可以自动的将errno
  中的错误号翻译为文字。

4.3 read函数

函数原型:

#include <unistd.h>
ssize_t read(int fd, void *buf, size_t count);
(1)功能:从fd指向的文件中,将数据读到应用缓存buf中
(2)参数
  1)fd:指向打开的文件
  2)buf:读取到数据后,用于存放数据的应用缓存的起始地址
  3)count:缓存大小(字节数)
(3)返回值
  1)成功:返回读取到的字符的个数
  2)失败:返回-1,并自动将错误号设置给errno。
数据中转的过程:
应用缓存(buf)<————open打开文件时开辟的内核缓存<——————驱动程序的缓存<——————块设备上的文件

4.4 0/1/2这三个文件描述符

(1)程序开始运行时,有三个文件被自动打开了,打开时分别使用了这三个文件描述符。
(2)依次打开的三个文件分别是
  /dev/stdin,/dev/stdout,/dev/stderr。
  1)/dev/stdin:标准输入文件
  (a)程序开始运行时,默认会调用open("/dev/stdin", O_RDONLY)将其打开,返回的文件描述符
  是0
  (b)使用0这个文件描述符,可以从键盘输入的数据
      简单理解就是,/dev/stdin这个文件代表了键盘。
  (c)思考:read(0, buf, sizeof(buf))实现的是什么功能
      实现的是,从键盘读取数据到到缓存buf中,数据中转的过程是:
    read应用缓存buf <—————— open /dev/stdin时开辟的内核缓存 <——————键盘驱动程序
    的缓存 <——————键盘
    疑问:能够像读普通文件一样读键盘吗?
      答:在Linux下,应用程序通过OS API操作底层硬件时,都是以文件形式来操作的,不管是
    读键盘,还是向显示器输出文字显示,都是以文件形式来读写的,在Linux下有句很经典的话,
    叫做“在Linux下一切皆文件”,说的就是这么个意思。
  (d)思考:为什么在我们的程序中,默认就能使用scanf函数从键盘输入数据
      我们默认就打开了代表了键盘/dev/stdin,打开后0指向这个打开的文件。
      scanf下层调用的就是read,read自动使用0来读数据,自然就可以从键盘读到数据。
              scanf("%s", sbuf) C库函数
                  |
                  |
              read(0, rbuf, ***)
      我们从键盘读取数据时,可以直接调用read这个系统函数来实现,也可以调用scanf C库函
      数来实现,只不过在一般情况下,我们在实际编写应用程序时,调用的更多的还是scanf 这
      个c库函数,原因如下:
        · 调用库函数,可以让程序能够更好的兼容不同OS,能够在不同的OS运行
        · scanf在read基础上,加入更加人性化的、更加便捷的功能,比如格式化转换
      直接使用read的缺点
        首先我们必须清楚,所有从键盘输入的都是字符,从键盘输入100,其实输入的是三个字
      符'1'、'0'、'0',因此使用read函数从键盘读数据时,读到的永远都是字符。
       但是如果你实际想得到的是整形数的100,你就必须自己将'1'、'0'、'0'转为整形的100
      每次使用read获取一个整形数时,你都要自己转换,如果你要输入的是浮点数的话,转起来更
    麻烦。
      - scanf的优点
      scanf可以解决read的缺点,虽然scanf调用read时,从键盘读到的全部都是字符,但是你
    只要给scanf指定%d、%f等格式,scanf会自动的讲read读到的字符串形式的数据,转为整形或
    者浮点型数据。
                    scanf("%d", &a);
                          |
                          |
                      read(0, buf, ...);
    如果直接调用read读取,然后自己再来转换,相当于自己再实现scanf函数的基本功能。
    疑问:有了scanf函数后,read系统函数是不是没有调用的意义了,当然不是的,在有些时候,
  特别是讲到后面驱动时,有些情况还就只能使用read,不能使用scanf,学到后面就知道了。
    (e)思考:close(0)后,scanf还能工作吗?
                为什么不能工作?
                  scanf("%s", sbuf) C库函数
                        |
                        |
                  read(0, rbuf, ***)
  2)/dev/stdout:标准输出文件
  (a)程序开始运行时,默认open("/dev/stdout", O_WRONLY)将其打开,返回的文件描述符是1   
    为什么返回的是1,先打开的是/dev/stdin,把最小的0用了,剩下最小没用的是1,因此返回的
  肯定是1。
  (b)通过1这个文件描述符,可以将数据写(打印)到屏幕上显示
    简单理解就是,/dev/stdout这个文件代表了显示器。
  (c)思考:write(1, buf, strlen(buf))实现的是什么功能
    将buf中的数据写到屏幕上显示,数据中转的过程是:
    write应用缓存buf ——————> open /dev/stdout时开辟的内核缓存 ——————> 显示器驱动程
  序的缓存 ——————> 显示器
  (d)思考:为什么在我们的程序中,默认就能使用printf打印数据到显示器
    因为程序开始运行时,就默认打开了代表了显示器/dev/stdout文件,然后1指向这个打开的文件。
    printf下层调用的是write函数,write会使用1来写数据,既然1所指文件代表的是显示器,自然
  就可以将数据写到显示器了。
                    printf("*****")
                      |
                      |
                    write(1, buf, count);
  (e)思考:如何使用write函数,将整数65输出到屏幕显示?
      直接输出行不行
      int a = 65;
      write(1, &a, sizeof(a));
      为什么输出结果是A?
        人只看得懂字符,所以所有输出到屏幕显示的,都必须转成字符。
      所以我们输出时,输出的必须是文字编码,显示时会自动将文字编码翻译为字符
      图形。
      所以我们输出65时,65解读为A字符的ASCII编码,编码被翻译后的图形自然就是A。
      怎么才能打印出65
        如果要输出65,就必须将整形65转为'6'和'5',输出这两个字符才行。
      输出'6'、'5'时,其实输出的是'6'、'5'这两个字符的ASCII编码,然后会被自动的
      翻译为6和5这两个图形。总之将整形65,转为字符'6'、'5'输出即可。
      为什么printf会对wirte进行封装
        - 库函数可以很好的兼容不同的OS
        - 封装时,叠加了很多的功能,比如格式化转换
        通过指定%d、%f等,自动将其换为对应的字符,然后write输出,完全不用自
      己来转换。
      思考:printf使用%s、%c输出字符串和字符时,还用转吗?
        其实不用转,因为要输出的本来就是字符,printf直接把字符给write就行了,当
      然也不是一点事情也不做,还是会做点小处理的。
    (f)思考:close(1),printf函数还能正常工作吗?
        结果是不能
                  printf("*****")
                        |
                        |
                  write(1, buf, count);
  3)/dev/stderr:标准出错输出文件
  (a)默认open("/dev/stderr", O_WRONLY)将其打开,返回的文件描述符是2 
  (b)通过2这个文件描述符,可以将报错信息写(打印)到屏幕上显示
  (c)思考:write(2, buf, sizeof(buf))实现的是什么功能
    将buf中的数据写道屏幕上,数据中转的过程是:
    write应用缓存buf ——————> open /dev/stderr时开辟的内核缓存 ——————> 显示器驱
  动程序的缓存 ——————> 显示器
  (d)疑问:1和2啥区别?
    使用这两个文件描述符,都能够把文字信息打印到屏幕。
    如果仅仅是站在打印显示的角度,其实用哪一个文件描述符都能办到。
    1、2:有各自的用途
      - 1:专用于打印普通信息
      - 2:专门用于打印各种报错信息
      - 使用write输出时
        + 如果你输出的是普通信息,就使用1输出。
        + 如果你输出的是报错信息,就使用2输出
     printf和perror调用write时,使用的是什么描述符
      - printf
        printf用于输出普通信息,向下调用write时,使用的是1。
        前面已经验证过,close(1)后,printf无法正常输出。
      - perror
        perror专门用于输出报错信息的,因为输出的是报错信息,因此write使用的是2。
        验证:将2关闭,perror就会无法正常输出。
    后面讲到标准io时,还会讲到标准输入、标准输出、标准出错输出,到时候会介绍标准输出、标准
  出错输出的区别。
4)STDIN_FILENO、STDOUT_FILENO、STDERR_FILENO
  系统为了方便使用0/1/2,系统分别对应的给了三个宏
    0:STDIN_FILENO
    1:STDOUT_FILENO
    2:STDERR_FILENO
    可以使用三个宏,来代替使用0/1/2。
    这三个宏定义在了open或者read、write函数所需要的头文件中,只要你包含了open或者read
  、write的头文件,这三个宏就能被正常使用。

5. lseek函数

函数原型和头文件:

#include <sys/types.h>
#include <unistd.h>
off_t lseek(int fd, off_t offset, int whence);

功能:

调整读写的位置,就像在纸上写字时,挪动笔尖所指位置是一样的。
  C库的标准io函数里面有一个fseek函数,也是用于调整读写位置的,fseek就是对lseek系统函数封装后
实现的,后面讲到标准io时,还会讲到fseek函数。

返回值:

调用成功
  返回当前读写位置相对于文件开始位置的偏移量(字节)。
可以使用lseek函数获取文件的大小,怎么获取?
  答:将文件读写的位置移动到最末尾,然后获取返回值,这个返回值就是文件头与文件尾之间的字节数
,也就是文件大小。
调用失败
  返回-1,并给errno设置错误号。

参数:

off_t lseek(int fd, off_t offset, int whence);
1)fd:文件描述符,指向打开的文件
2)whence:
  粗定位,选项有:
  SEEK_SET:调到文件起始位置
  SEEK_CUR:调到文件当前读写的位置
  SEEK_END:调到文件末尾位置
3)offset
  精定位:微调位置
  从whence指定的位置,向前或者向后移动指定字节数。
  为负数:向前移动指定字节数
  为正数:向后移动指定字节数
  不过当whence被指定为SEEK_SET时,如果offset被指定为负数的话,是没有意义,为什么?
    因为已经到文件头上了,在向前移动就越界了,不再当前文件的范围内了,如果非要向前调整,
  lseek函数会报错。

od -c 文件:以字符形式查看文件内容。

可以使用lseek制作出空洞文件,留到下一章再来介绍。

6. 文件描述符表

6.1 什么是文件描述符表

在前面的课程中,我们说当open打开文件成功后,会创建相应的结构体(数据结构),用于保存被打开文
件的相关信息,对文件进行读写等操作时,会用到这些信息,这个数据结构就是我们要讲的“文件描述符表”。

6.2 进程表:task_struct

前面我们介绍过task_struct结构体,这个结构体又叫进程表。这个结构体的成员项非常多,多达近300
个。每一个进程运行起来后,Linux系统都会为其在内存中开辟一个task_struct结构体,task_struct专门
用于存放进程在运行过程中,所涉及到的所有与进程相关的信息其中,文件描述符表就被包含在了
task_struct中。进程运行结束后,进程表所占用的内存空间,会被释放。

6.3 task_struct 与 文件描述符表 之间的关系

6.3.1 关系图

0/1/2默认被使用了。

文件状态标志:

1)是什么

就是open文件时指定的O_RDONLY、O_WRONLY、O_RDWR、O_TRUNC、O_APPEND、O_CREAT、
O_EXCL、O_NONBLOCK、O_ASYNC等文件状态标志。
  比如:fd = open("./file1.txt", O_RDWR|O_CREAT|O_EXCL, 0664);
  open打开文件成功后,会将文件状态标志保存到“文件表”中。

2)有什么用

读写文件时,会先检查“文件状态标志”,看看有没有操作权限,然后再去操作文件。
  比如open时指定的是:
  (a)O_RDONLY
    写(wrtie)文件时,通过fd检查“文件状态标志位”,发现只允许读,写操作会错误返回,并报
  “不允许写的错误”。
  (b)O_WRONLY
    读(read)文件时,通过fd检查“文件状态标志位”,发现只允许写,读操作会错误返回,并报
  “不允许读的错误”。
  只有当“文件状态标志”允许相应的操作时,读写操作才能成功进行。

文件位移量 与 文件长度:

它们不是一回事,不要搞混。
  1)文件位移量:文件当前读写位置与文件开始位置的距离(字节数)。
    “文件位移量”代表的就是文件读写的位置,read、write读写数据时,通过文件位移量,就知道从
  哪里开始读写了。
    一般情况下打开文件时,文件的位移量默认为0,表示读写的位置在文件头上。每读写一个字节,
  文件读写位置(笔尖)就往后移动一个字节,文件位移量随之+1。调用lseek函数调整文件读写位
  置,其实就是修改文件位移量。
  2)文件长度:文件的大小
    在写文件的过程中,每写一个字节的数据到文件中,文件的长度就+1,文件长度也是动态更新的。
(3)函数指针
    read、write等操作文件时,会根据底层具体情况的不同,调用不同的函数来实现读写,所以在V
  节点里面保存了这些不同函数的函数指针,方便调用。

6.3.2 O_APPEND

(1)功能
  open文件时,如果指定了这个文件状态标志,表示以追加的方式打开文件。
  写文件时,会从文件的最末尾开始写操作。
(2)追加的实现原理
  文件的位移量代表的,就是文件的读写位置。
  open指定了O_APPEND时,每次写文件时,都会把“文件位移量”设置为“文件的长度”,也就是说写的位
置被调整到了末尾,写文件时从文件尾部进行追加。每一次写操作后,文件的内容会增加,那么自然文件的长
度会被动态更新。总之,指定了O_APPEND后,每次写文件时,都会使用文件长度去更新文件位移量,保证每
次都是从最末尾开始写数据的。
(3)O_APPEND的意义
  多次open同一文件,实现共享操作时,指定O_APPEND可以防止数据相互覆盖的发生,后面会详细介绍。

6.3.3 O_TRUNC

如果文件中原来就有数据的话,open打开文件时,会全部被清空。由于文件已经被清空了,所以将V节点
中的文件长度,修改为0。

6.4 共享操作文件

介绍两种情况:

· 同一进程共享操作相同的文件

· 多个进程之间,共享操作相同文件

6.4.1 同一进程(程序),多次open同一个文件

在同一个进程中多次open打开同一文件时,文件描述符可能会相同吗?

答:不可能。在同一进程里面,一旦某个文件描述符被用了,在close释放之前,别人不可能使用,所以指向同
一文件的描述符不可能相同。

例子中写数据时,为什么会相互的覆盖?

1)看看共享操作时的文件描述符表长啥样
图:

由图知道,正是由于不同的文件描述符,各自对应一个独立的文件表,在文件表中有属于自己的“文件位移
量”  ,开始时都是0。各自从0开始写,每写一个字节向后移动一个字节,他们写的位置是重叠的,因此肯定会
相互的覆盖。

2)怎么解决

(a)指定O_APPEND即可解决
  必须每个open都要指定,有一个不指定就会覆盖,就先过马路一样,都要准守交通规则才能安全,开车的
和行人,只要有一个不准守都会出事。
(b)为什么使用O_APPEND可以解决
  文件长度信息时大家共享的,当文件被写入数据后,文件长度就会被更新,都指定O_APPEND后,使用不
同的文件描述符写数据时,都会使用文件长度更新自己的文件位移量,保证每次都是在文件的最末尾写数据,
就不会出现相互覆盖的情况。
6.4.2 多个进程(程序),共享操作同一个文件
不同进程打开同一文件时,各自使用的文件描述符值可能相等,比如我们例子中的1和2进程,它们open后
的描述符就相等。之所以相同,是因为不同的进程有自己独立的文件描述符池,都是0~1023的范围,各自分
配自己的,有可能分派到相等值的文件描述符。

1)看看进程表和文件描述符表
图:

同样也是因为各自有独立的文件位移量造成覆盖的问题。

2)解决办法:

同样的,指定O_APPEND标志,写操作时,使用文件长度去更新文件位移量,保证各自操作时,都在文件的尾
部操作,就不会出现相互覆盖的情况。

7. dup和dup2函数

7.1 dup函数

7.1.1 函数原型
#include <unistd.h>
int dup(int oldfd);
(1)功能
    复制某个已经打开的文件描述符,得到一个新的描述符,这个新的描述符,也指向被复制描述符所指
  向的文件。
    比如:4指向了某个文件,从4复制出5,让5也指向4指向的文件。
            4 ——————>     file.txt
                                 ^
           dup                     |
                                 |  
            5 ——————————|
    至于需要用到的新描述符,dup会使用描述符池(0~1023)中当前最小没用的那一个。
(2)返回值
    1)成功:返回复制后的新文件描述符
    2)失败:返回-1,并且errno被设置。
(3)参数
    oldfd:会被复制的、已经存在的文件描述符。

7.2 dup2函数

7.2.1 函数原型
#include <unistd.h>
int dup2(int oldfd, int newfd);
(1)功能
  功能同dup,只不过在dup2里面,我们可以自己指定新文件描述符。
  如果这个新文件描述符已经被打开了,dup2会把它给关闭后,再使用。
  比如:
  dup(2, 3);
  从2复制出3,让3也指向2所指向的文件,如果3之前被打开过了,dup2会关闭它,然后在使用。
  dup2和dup的不同之处在于:
  dup:自己到文件描述符池中找新文件描述符
  dup2:我们可以自己指定新文件描述符
(2)返回值
    1)成功:返回复制后的新文件描述符
    2)失败:返回-1,并且errno被设置。
(3)参数
    oldfd:会被复制的、已经存在的文件描述符。
    newfd:新的文件描述符

7.3 dup、dup2复制的意义

7.3.1 实现文件共享操作

复制后文件描述符表:
图:

1)为什么没有出现相互覆盖情况?

使用dup、dup2复制方式实现文件共享时,不管复制出多少个文件描述符,它们永远只有一个文件表,所
以使用所有描述符去操作文件时,最后使用的都是通过同一个文件位移量,不管谁操作后文件位移量都会被更
新,因此不会出现覆盖。
7.3.2 实现重定位

(1)什么是重定位?

某文件描述符原来指向了A文件,输出数据是输出到A文件,但是重定位后,文件描述符指向了B文件,输
出时数 据输出到了B文件,这就是重定位。
  所谓重定位,说白了就是,文件描述符所指向的文件该变了,使得数据输出的目标文件也随之变。

(2) 举例使用dup、dup2实现重定位

回顾printf与write的关系
            printf(...)
              |
              |
            write(1, buf, ...)
  printf输出时,原本通过1,将数据输出到标准输出文件(显示器)的,但是现在,我想让printf输出
到file.txt文件,而不是输出到屏幕,应该怎么办?
  最简单的办法是就是,把printf函数调用的write函数里面的1,改成指向file.txt文件的新描述符即
可,但是不幸的是write中的1写死了,1这个数字改不了,怎么办?
  1这个数改不了,但是可以对1进行重定位,让1不再指向标准输出文件,而是指向file.txt,printf的
数据,就输出到了file.txt文件中。
  实现步骤
  (a)open file.txt文件,返回一个文件描述符,比如3
            3 ————> file.txt
  (b)close(1),不要再让1指向标准输出文件(/dev/stdout)
  (c) 使用dup、dup2把3复制到1上,让1也指向file.txt文件
                3——————>file.txt
                          ^
                          |
                1—————————|  X  ——————> /dev/stdout
    1这个文件描述符就被重定位了,凡是通过1输出的数据,都被写到了file.txt中,printf底层调
  用的是write(1, ...),用的也是1,printf的数据就被输出到了file.txt中。相当于printf函数
  的输出目的地,被重定位为了新的文件,这就是重定位。

代码演示:

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdlib.h>
#include <unistd.h>
#define FILE_NAME "./file.txt"
void print_error(char * str)
{
  perror(str);
  exit(-1);
}
int main(void)
{
  int fd1 = 0;
  int fd2 = 0;
  fd1 = open(FILE_NAME, O_RDWR|O_TRUNC);
  if(-1 == fd1) print_error("1 open fail");
  //close(1);
  //fd2 = dup(fd1);
  dup2(fd1, 1);
  //printf("fd2 = %d\n", fd2);
  printf("hello world\n");  
  return 0;
}

(3) 什么时候会使用dup、dup2,来实现从定位

函数中的文件描述符值写死了,无法修改为新的描述符,但是你又希望该函数,把数据输出到其它文件中
,此时就可以使用dup、dup2对该函数中的文件描述符,进行重定位,指向新的文件,函数就会将数据输出到
这个新文件。

(4) 重定位 >

重定位 命令(>)是dup、dup2的典型应用,这个命令在重定位时,就是调用dup、dup2函数来实现的。
  1)>使用的例子
    ls > file.txt
    ls的结果原本是输出到显示器的,但是>从定位后,就输出到了file.txt文件。
  2)具体从定位的过程
  (a)>命令(程序)会open打开file.txt文件,假设返回的文件描述符是3
    3————>file.txt
  (b)ls命令(程序)原本会调用write(1, ...),将结果输出到标准输出文件(显示器),但是 >会
  调用dup2,把3复制到1上,实现重定位,让1也指向file.txt文件,ls的结果自然就输出到file.txt
  文件了。
        3————>file.txt
              ^
              |
              |
        1—————|  X  ——————> /dev/stdout

8. 总结:文件的共享操作

(1)回顾单一进程多次open同一个文件,实现共享操作
图:

(2)多个进程多次open,共享操作同一个文件
图:

(3)在单个进程中,使用dup、dup2实现文件共享操作
图:

9. fcntl函数

9.1 函数原型

#include <unistd.h>
#include <fcntl.h>
int fcntl(int fd, int cmd, ... /* arg */ );
不要去记我们讲的这些函数,但现在为止我也没记不住。
我能记住的就是他们大概的用法,用到时,直接查阅man手册或者相关资料,自然就能立刻把它用起来。
所以对于大家来说,学习这些函数的重点是于理解,而不是记住。
(1)功能       
  fcntl函数其实是File Control的缩写,通过fcntl可以设置、或者修改已打开的文件性质。
(2)返回值
    调用成功:返回值视具体参数而定,这个后面还会再介绍
    调用失败:返回-1,并把错误号设置给errno。
(3)参数
  int fcntl(int fd, int cmd, ... /* arg */ );
  1)fd:指向打开文件
  2)cmd:控制命令,通过指定不同的宏来修改fd所指向文件的性质。
    (a)F_DUPFD
      复制描述符,可用来用来模拟dup和dup2,后面会有例子对此用法进行说明。
      返回值:返回复制后的新文件描述
    (b)F_GETFL、F_SETFL
      获取、设置文件状态标志,比如在open时没有指定O_APPEND,可以使用fcntl函数来补设。
      返回值:返回文件的状态
      什么时候需要fcntl来补设?
      当文件描述符不是你自己open得到,而是调用别人给的函数,别人的函数去open某个文件,
    然后再将文件描述符返回给你用,在这种情况下,我们是没办法去修改被人的函数,在他调用的
    open函数里补加文件状态标志。此时就可以使用fcntl来布设了,使用fcntl补设时,你只需要知
    道文件描述符即可。
      c、d、e这三种情况,后面课程中具体涉及到后,再来详细介绍如何。
    (c)F_GETFD、F_SETFD  
    (d)F_GETOWN、F_SETOWN
    (e)F_GETLK或F_SETLK或F_SETLKW

9.2 测试用例

9.2.1 fcntl 模拟dup和dup2
不过,我们真要进行文件描述符复制时,往往都使用dup、dup2来实现,而不会使用fcntl,这里使用
fcntl来模拟dup、dup2,完全是为了向大家演示一下,fcntl这个函数是怎么用的。

fcntl模拟dup2 代码演示:

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <errno.h>
int main(void)
{
  int fd = 0;
  fd = open("./file.txt", O_RDWR);
  if(-1 == fd)
  {
    printf("open fail: %d\n", errno);
    return 0;
  }
  /* 模拟dup2 */
  //dup2(fd, 1);
  close(1);
  fcntl(fd, F_DUPFD, 1);
  printf("hello world!!\n");  
  return 0;
}
dup2进行复制时,如果新的文件描述符已经被用,dup2函数会关闭它,然后再复制,但是fcntl模拟
dup2时,必须自己手动的调用close来关闭,然后再进行复制。
9.2.2 fcntl补设O_APPEND文件状态标志

代码演示:

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <errno.h>
int open_fun1(void)
{
  int fd = open("./file.txt", O_RDWR);
  if(-1 == fd)
  {
    printf("open fail: %d\n", errno);
    return 0;
  }
  return fd;
} 
int open_fun2(void)
{
  int fd = open("./file.txt", O_RDWR);
  if(-1 == fd)
  {
    printf("open fail: %d\n", errno);
    return 0;
  }
  return fd;
} 
int main(void)
{
  int fd1 = 0;
  int fd2 = 0;
  int flag = 0;
  fd1 = open_fun1();
  fd2 = open_fun2();
  /* 直接制定F_SETFL时,会直接使用新的标志,去修改掉就的标志
     返回的是新设置的标志
   */
  flag = O_WRONLY|O_TRUNC|O_APPEND;
  fcntl(fd1, F_SETFL, flag);
  /* 保留原有标志,然后在原有标志的基础上,叠加新标志 */
  flag = fcntl(fd2, F_GETFL, 0);//获取原有标志
  flag = flag | O_TRUNC | O_APPEND;//叠加
  fcntl(fd2, F_SETFL, flag); //设置回去
  while(1)
  {
    write(fd1, "hello\n", 6);
    sleep(1);
    write(fd2, "world\n", 6);
  }
  return 0;
}

10. ioctl函数

为什么有ioctl这个函数?

在某些特殊的情况下,使用read、write、lseek函数进行文件io(读写)操作时,存在一定的问题,
此时往往就是使用ioctl函数,来实现这些比较特殊情况的io操作。
  ioctl是一个杂物箱,根据设置参数的不同,有很多种不同的功能,如果没有特定使用环境作为支撑的话
,这个函数理解起来不太容易,因此在这里,我们先记住有这么一个函数,有关它的使用,等后面涉及到
了具体应用环境时,再来具体讲解。


目录
相关文章
|
1天前
|
SQL 监控 架构师
linux系统性能分析的目的
【4月更文挑战第19天】在Linux系统中,找到性能瓶颈是关键,涉及应用程序、操作系统、硬件和网络的全面排查。优化方案通常针对应用程序和操作系统,而硬件和网络问题较易定位。目标是平衡资源使用,确保系统响应和稳定性。系统管理员、架构设计人员和开发人员共同参与,通过监控硬件、网络、配置和代码来优化性能。流程包括管理员初步判断,架构师处理结构问题,开发人员优化代码,实现系统资源的均衡利用。
7 1
|
2天前
|
Linux Go 数据安全/隐私保护
Linux 中的文件属性解析
在 Linux 系统中,每个文件和目录有一组属性控制其操作和访问权限。了解这些属性对有效管理文件至关重要。文件属性包括:文件类型(如 `-` 表示普通文件,`d` 表示目录),权限(如 `rwx` 表示所有者权限,`r-x` 表示组和其他用户权限),所有者,组,硬链接数,文件大小和最后修改时间。通过 `chown` 和 `chmod` 命令可更改文件所有者、所属组及权限。此外,还有特殊权限(如 SUID、SGID)和 ACL(访问控制列表)提供更精细的访问控制。
|
3天前
|
消息中间件 关系型数据库 MySQL
Linux:开源之魅与编程之道
Linux:开源之魅与编程之道
11 1
|
3天前
|
人工智能 Linux
Linux查找大文件的方法
Linux查找大文件的方法
|
3天前
|
Ubuntu Linux
Linux(Ubuntu)系统临时IP以及静态IP配置(关闭、启动网卡等操作)
请注意,以上步骤是在临时基础上进行配置的。如果要永久保存静态IP地址,通常还需要修改 `/etc/network/interfaces`文件,以便在系统重启后保持配置。同时,确保备份相关配置文件以防止出现问题。
16 1
|
4天前
|
Linux 数据安全/隐私保护
Linux系统忘记密码的三种解决办法
这篇博客介绍了三种在Linux忘记密码时重置登录密码的方法:1) 使用恢复模式,通过控制台界面以管理员权限更改密码;2) 利用Linux Live CD/USB启动,挂载硬盘分区并使用终端更改密码;3) 进入单用户模式,自动以管理员身份登录后重置密码。每个方法都提供了详细步骤,提醒用户在操作前备份重要数据。
|
4天前
|
JSON Unix Linux
Linux系统之jq工具的基本使用
Linux系统之jq工具的基本使用
32 2
|
4天前
|
数据采集 监控 安全
linux系统被×××后处理经历
linux系统被×××后处理经历
|
5天前
|
监控 安全 Linux
Linux系统之安装ServerBee服务器监控工具
【4月更文挑战第22天】Linux系统之安装ServerBee服务器监控工具
43 2
|
5天前
|
缓存 Linux
linux系统缓存机制
linux系统缓存机制