lseek, fallocate来快速创建一个空洞文件,lseek不占用空间,fallocate占用空间(快速预分配)。

简介:
在开发过程中有时候需要为某个文件快速地分配固定大小的磁盘空间,为什么要这样做呢?
(1)可以让文件尽可能的占用连续的磁盘扇区,减少后续写入和读取文件时的磁盘寻道开销;
(2)迅速占用磁盘空间,防止使用过程中所需空间不足。
(3) 后面再追加数据的话,不会需要改变文件大小,所以后面将不涉及metadata的修改。

具体的例子有windows下的Bt下载服务,或者一些基于固定大小文件块的存储系统(如QFS)。
为某个文件预分配磁盘空间必须是实际的占用磁盘空间,
以Linux来说,使用lseek或truncate到一个固定位置生成的“空洞文件”是不会占据真正的磁盘空间的。
快速的为某个文件分配实际的磁盘空间在Linux下可通过fallocate(对应的posix接口为posix_fallocate)系统调用来实现,当前支持ext4/xfs。
windows 下可通过SetFilePointer() 和SetEndOfFile()或者SetFileValidData()实现。

网上的例子:
lseek可以用于快速创建一个大文件。
#include<stdio.h>
#include<unistd.h>
#include<fcntl.h>
#include<unistd.h>
int main(void)
{
        int fd; 
        char buf1[]="1234567890";
        char buf2[]="0987654321";
        fd=open("file.hole",O_WRONLY|O_CREAT|O_TRUNC);
        if(fd<0)perror("creat file fail");
            
        if(write(fd,buf1,10)==-1)perror("could not write");
            
        if(lseek(fd,1000,SEEK_CUR)==-1)
                perror("could not sleek");
            
        if(write(fd,buf2,10)==-1)perror("could not write");
            
        if(lseek(fd,12,SEEK_SET)==-1)perror("could not sleek");
            
        if(write(fd,"abcdefg",7)==-1)perror("could not write");
        // fsync
        // write content to file
        // then fdatasync, fsync

        return 0;
}

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
运行结果:
fan@fan:~/arm$ gcc -o app kongdong.c 
fan@fan:~/arm$ ./app
fan@fan:~/arm$ cat file.hole // 使用cat命令输入没有回车的,所以用od命令
1234567890abcdefg0987654321
fan@fan:~/arm$ 
fan@fan:~/arm$ od -c file.hole //od后面的-c表示ASCII码
0000000   1   2   3   4   5   6   7   8   9   0  \0  \0   a   b   c   d
0000020   e   f   g  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0   //lseek移到开头的第12个字节
0000040  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0
*
0001760  \0  \0   0   9   8   7   6   5   4   3   2   1
0001774
fan@fan:~/arm$ 
++++++++++++++++++++++++++++++++++++++++++++++++++

其他例子:

/*迅速创建一个大文件*/
#include <stdio.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>
int main()
{
    int fd;
    int ret;
    char buf[]="h";
    if((fd = open("2.txt",O_RDWR|O_CREAT)) < 0)
    {
        perror("open");
    }
    ret = lseek(fd,1023,SEEK_CUR);
    if(ret == -1)
    {
        perror("lseek error");
    }
    printf("%d\n",ret);
    write(fd,buf,1);
    close(fd);
    return;
}


fallocate例子:


使用lseek的注意事项
一 函数介绍:
函数名: lseek()
功 能: 移动文件读/写指针
所需头文件:
#include <sys/types.h>
#include <unistd.h>

函数原型:
off_t lseek(int fd, off_t offset, int whence);

重新定位已打开的文件的偏移量,与whence的取值有关;
参数:
fd:文件描述符,对应已经打开的文件;
offset:指出偏移量;
whence:指出偏移的方式,取值如下:
SEEK_SET:偏移到offset位置处(相对文件头)
SEEK_CUR:偏移到当前位置+offset位置处;
SEEK_END:偏移到文件尾+offset位置处;
返回值:
调用成功则返回最终的偏移量(从文件头开始数);
调用失败则返回-1,并设置相应的errno;

二 巧妙利用
1. 返回当前的偏移量
off_t currpos;
currpos = lseek(fd, 0, SEEK_CUR);

2. 返回文件大小
off_t currpos;
currpos = lseek(fd, 0, SEEK_END);

3. 扩充文件大小
lseek()方法允许偏移
  这个技巧也可用于判断我们是否可以改变某个文件的偏移量。如果参数 fd(文件描述符)指定的是 pipe(管道)、FIFO 或者 socket,lseek 返回 -1 并且置 errno 为 ESPIPE。
  对于普通文件(regular file),cfo 是一个非负整数。但对于特殊设备,cfo 有可能是负数。因此,我们不能简单地测试 lseek 的返回值是否小于 0 来判断 lseek 成功与否,而应该测试 lseek 的返回值是否等于 -1 来判断 lseek 成功与否。
  lseek 仅将 cfo 保存于内核中,不会导致任何 I/O 操作。这个 cfo 将被用于之后的读写操作。
  如果 offset 比文件的当前长度更大,下一个写操作就会把文件“撑大(extend)”。这就是所谓的在文件里创造“空洞(hole)”。没有被实际写入文件的所有字节由重复的 0 表示。空洞是否占用硬盘空间是由文件系统(file system)决定的。

概念补充:
当前文件偏移量(current file offset),以下简称为 cfo。cfo 通常是一个非负整数,用于表明文件开始处到文件当前位置的字节数。读写操作通常开始于 cfo,并且使 cfo 增大,增量为读写的字节数。文件被打开时,cfo 会被初始化为 0,除非使用了 O_APPEND 。

【参考】
1.  man 2 fallocate
2. man 2 lseek

相关文章
|
2月前
|
缓存 API C语言
文件的缓冲区
文件的缓冲区
28 1
|
2月前
|
存储 C语言
文件缓冲区
文件缓冲区
21 0
|
2月前
|
存储
文件的顺序读写——顺序读写函数——fgets、fgetc、fputs、 fputc
文件的顺序读写——顺序读写函数——fgets、fgetc、fputs、 fputc
36 0
|
10月前
|
Unix
文件lseek操作产生空洞文件的方法
文件lseek操作产生空洞文件的方法
102 0
【文件指针+文件顺序读写操作函数】(1)
1.文件的打开和关闭 1.1 什么是文件指针? 每个被使用的文件都在内存中开辟了一个相应的文件信息区,用来存放文件的相关信息(如文件的名 字,文件状态及文件当前的位置等)。这些信息是保存在一个结构体变量中的。该结构体类型是有系统 声明的,取名FILE.
【文件指针+文件顺序读写操作函数】(2)
1.文件的打开和关闭 1.1 什么是文件指针? 每个被使用的文件都在内存中开辟了一个相应的文件信息区,用来存放文件的相关信息(如文件的名 字,文件状态及文件当前的位置等)。这些信息是保存在一个结构体变量中的。该结构体类型是有系统 声明的,取名FILE. 假如:我们要操作一个文件,名为text.txt ,首先要打开文件,打开文件的同时,操作系统会自动为该文件创建一个文件信息区,专门用来记录该文件的信息。
【文件随机读写和文件缓冲区】
1.1fseek函数 根据文件指针的位置和偏移量来定位文件指针。 看不懂没关系,举个例子你就明白了。 我们首先在text.txt文件中放入 “abcdef” 这些字符。
|
机器学习/深度学习 C语言
【C 语言】文件操作 ( 使用 fseek 函数生成指定大小文件 | 偏移量 文件字节数 - 1 )
【C 语言】文件操作 ( 使用 fseek 函数生成指定大小文件 | 偏移量 文件字节数 - 1 )
439 0
【C 语言】文件操作 ( 使用 fseek 函数生成指定大小文件 | 偏移量 文件字节数 - 1 )
|
Linux
使用mmap将文件映射到虚拟地址空间进行操作
使用mmap将文件映射到虚拟地址空间进行操作
175 0
使用mmap将文件映射到虚拟地址空间进行操作

热门文章

最新文章

  • 1
    流量控制系统,用正则表达式提取汉字
    25
  • 2
    Redis09-----List类型,有序,元素可以重复,插入和删除快,查询速度一般,一般保存一些有顺序的数据,如朋友圈点赞列表,评论列表等,LPUSH user 1 2 3可以一个一个推
    26
  • 3
    Redis08命令-Hash类型,也叫散列,其中value是一个无序字典,类似于java的HashMap结构,Hash结构可以将对象中的每个字段独立存储,可以针对每字段做CRUD
    26
  • 4
    Redis07命令-String类型字符串,不管是哪种格式,底层都是字节数组形式存储的,最大空间不超过512m,SET添加,MSET批量添加,INCRBY age 2可以,MSET,INCRSETEX
    27
  • 5
    S外部函数可以访问函数内部的变量的闭包-闭包最简单的用不了,闭包是内层函数+外层函数的变量,简称为函数套函数,外部函数可以访问函数内部的变量,存在函数套函数
    24
  • 6
    Redis06-Redis常用的命令,模糊的搜索查询往往会对服务器产生很大的压力,MSET k1 v1 k2 v2 k3 v3 添加,DEL是删除的意思,EXISTS age 可以用来查询是否有存在1
    30
  • 7
    Redis05数据结构介绍,数据结构介绍,官方网站中看到
    22
  • 8
    JS字符串数据类型转换,字符串如何转成变量,+号只要有一个是字符串,就会把另外一个转成字符串,- * / 都会把数据转成数字类型,数字型控制台是蓝色,字符型控制台是黑色,
    20
  • 9
    JS数组操作---删除,arr.pop()方法从数组中删除最后一个元素,并返回该元素的值,arr.shift() 删除第一个值,arr.splice()方法,删除指定元素,arr.splice,从第一
    20
  • 10
    定义好变量,${age}模版字符串,对象可以放null,检验数据类型console.log(typeof str)
    19