lseek, fallocate来快速创建一个空洞文件,lseek不占用空间,fallocate占用空间(快速预分配)。

简介:
在开发过程中有时候需要为某个文件快速地分配固定大小的磁盘空间,为什么要这样做呢?
(1)可以让文件尽可能的占用连续的磁盘扇区,减少后续写入和读取文件时的磁盘寻道开销;
(2)迅速占用磁盘空间,防止使用过程中所需空间不足。
(3) 后面再追加数据的话,不会需要改变文件大小,所以后面将不涉及metadata的修改。

具体的例子有windows下的Bt下载服务,或者一些基于固定大小文件块的存储系统(如QFS)。
为某个文件预分配磁盘空间必须是实际的占用磁盘空间,
以Linux来说,使用lseek或truncate到一个固定位置生成的“空洞文件”是不会占据真正的磁盘空间的。
快速的为某个文件分配实际的磁盘空间在Linux下可通过fallocate(对应的posix接口为posix_fallocate)系统调用来实现,当前支持ext4/xfs。
windows 下可通过SetFilePointer() 和SetEndOfFile()或者SetFileValidData()实现。

网上的例子:
lseek可以用于快速创建一个大文件。
#include<stdio.h>
#include<unistd.h>
#include<fcntl.h>
#include<unistd.h>
int main(void)
{
        int fd; 
        char buf1[]="1234567890";
        char buf2[]="0987654321";
        fd=open("file.hole",O_WRONLY|O_CREAT|O_TRUNC);
        if(fd<0)perror("creat file fail");
            
        if(write(fd,buf1,10)==-1)perror("could not write");
            
        if(lseek(fd,1000,SEEK_CUR)==-1)
                perror("could not sleek");
            
        if(write(fd,buf2,10)==-1)perror("could not write");
            
        if(lseek(fd,12,SEEK_SET)==-1)perror("could not sleek");
            
        if(write(fd,"abcdefg",7)==-1)perror("could not write");
        // fsync
        // write content to file
        // then fdatasync, fsync

        return 0;
}

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
运行结果:
fan@fan:~/arm$ gcc -o app kongdong.c 
fan@fan:~/arm$ ./app
fan@fan:~/arm$ cat file.hole // 使用cat命令输入没有回车的,所以用od命令
1234567890abcdefg0987654321
fan@fan:~/arm$ 
fan@fan:~/arm$ od -c file.hole //od后面的-c表示ASCII码
0000000   1   2   3   4   5   6   7   8   9   0  \0  \0   a   b   c   d
0000020   e   f   g  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0   //lseek移到开头的第12个字节
0000040  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0
*
0001760  \0  \0   0   9   8   7   6   5   4   3   2   1
0001774
fan@fan:~/arm$ 
++++++++++++++++++++++++++++++++++++++++++++++++++

其他例子:

/*迅速创建一个大文件*/
#include <stdio.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>
int main()
{
    int fd;
    int ret;
    char buf[]="h";
    if((fd = open("2.txt",O_RDWR|O_CREAT)) < 0)
    {
        perror("open");
    }
    ret = lseek(fd,1023,SEEK_CUR);
    if(ret == -1)
    {
        perror("lseek error");
    }
    printf("%d\n",ret);
    write(fd,buf,1);
    close(fd);
    return;
}


fallocate例子:


使用lseek的注意事项
一 函数介绍:
函数名: lseek()
功 能: 移动文件读/写指针
所需头文件:
#include <sys/types.h>
#include <unistd.h>

函数原型:
off_t lseek(int fd, off_t offset, int whence);

重新定位已打开的文件的偏移量,与whence的取值有关;
参数:
fd:文件描述符,对应已经打开的文件;
offset:指出偏移量;
whence:指出偏移的方式,取值如下:
SEEK_SET:偏移到offset位置处(相对文件头)
SEEK_CUR:偏移到当前位置+offset位置处;
SEEK_END:偏移到文件尾+offset位置处;
返回值:
调用成功则返回最终的偏移量(从文件头开始数);
调用失败则返回-1,并设置相应的errno;

二 巧妙利用
1. 返回当前的偏移量
off_t currpos;
currpos = lseek(fd, 0, SEEK_CUR);

2. 返回文件大小
off_t currpos;
currpos = lseek(fd, 0, SEEK_END);

3. 扩充文件大小
lseek()方法允许偏移
  这个技巧也可用于判断我们是否可以改变某个文件的偏移量。如果参数 fd(文件描述符)指定的是 pipe(管道)、FIFO 或者 socket,lseek 返回 -1 并且置 errno 为 ESPIPE。
  对于普通文件(regular file),cfo 是一个非负整数。但对于特殊设备,cfo 有可能是负数。因此,我们不能简单地测试 lseek 的返回值是否小于 0 来判断 lseek 成功与否,而应该测试 lseek 的返回值是否等于 -1 来判断 lseek 成功与否。
  lseek 仅将 cfo 保存于内核中,不会导致任何 I/O 操作。这个 cfo 将被用于之后的读写操作。
  如果 offset 比文件的当前长度更大,下一个写操作就会把文件“撑大(extend)”。这就是所谓的在文件里创造“空洞(hole)”。没有被实际写入文件的所有字节由重复的 0 表示。空洞是否占用硬盘空间是由文件系统(file system)决定的。

概念补充:
当前文件偏移量(current file offset),以下简称为 cfo。cfo 通常是一个非负整数,用于表明文件开始处到文件当前位置的字节数。读写操作通常开始于 cfo,并且使 cfo 增大,增量为读写的字节数。文件被打开时,cfo 会被初始化为 0,除非使用了 O_APPEND 。

【参考】
1.  man 2 fallocate
2. man 2 lseek

目录
相关文章
|
存储 缓存 Java
仅花200行代码,如何将60万行的RocksDB改造成协程
采用少量手动修改+自动代码转换的方式,将大型多线程程序改造成协程。在某些重IO、高并发的场景中,帮助业务取得了性能翻倍的效果。
56016 3
仅花200行代码,如何将60万行的RocksDB改造成协程
|
监控 druid
druid 连接池监控报错 Sorry, you are not permitted to view this page.
druid 连接池监控报错 Sorry, you are not permitted to view this page.
902 0
|
C语言
C语言入门——printf(““)左对齐与右对齐问题
C语言入门——printf(““)左对齐与右对齐问题
1504 0
C语言入门——printf(““)左对齐与右对齐问题
|
监控 调度 开发工具
IO神器blktrace使用介绍
## 前言 1. blktrace的作者正是block io的maintainer,开发此工具,可以更好的追踪IO的过程。 2. blktrace 结合btt可以统计一个IO是在调度队列停留的时间长,还是在硬件上消耗的时间长,利用这个工具可以协助分析和优化问题。 ## blktrace的原理 一个I/O请求的处理过程,可以梳理为这样一张简单的图: ![](http://image
19659 0
|
Unix Linux
Linux文件空洞与fallocate快速创建大文件
在UNIX文件操作中,文件位移量可以大于文件的当前长度,在这种情况下,对该文件的下一次写将延长该文件,并在文件中构成一个空洞,这一点是允许的。位于文件中但没有写过的字节都被设为 0。如果 offset 比文件的当前长度更大,下一个写操作就会把文件“撑大(extend)”。这就是所谓的在文件里创造“空洞(hole)”。没有被实际写入文件的所有字节由重复的 0 表示。空洞是否占用硬盘空间是由文件系统(file system)决定的。大部分文件系统是不占用的。
622 0
Linux文件空洞与fallocate快速创建大文件
|
Ubuntu Linux
内核实验(四):Qemu调试Linux内核,实现NFS挂载
本文介绍了在Qemu虚拟机中配置NFS挂载的过程,包括服务端的NFS服务器安装、配置和启动,客户端的DHCP脚本添加和开机脚本修改,以及在Qemu中挂载NFS、测试连通性和解决挂载失败的方法。
802 0
内核实验(四):Qemu调试Linux内核,实现NFS挂载
|
11月前
|
IDE Java 测试技术
add()方法导致NPE?不可变集合singletonList的隐藏陷阱!
大家好,我是小米。本文分享了在真实工作场景中排查NPE(NullPointerException)异常的过程。测试环境中打开退单详情时页面崩溃,NPE出现在调用集合的`add()`方法时。通过日志定位和源码分析,最终发现问题是由于使用了`Collections.singletonList()`创建的不可变集合导致的。我们将其替换为可变集合`ArrayList`,成功解决了问题。希望这篇文章能帮助大家更好地处理类似异常。
136 6
io_uring之liburing库安装
io_uring之liburing库安装
1137 0
|
12月前
|
Unix Linux Go
Linux 使用Yum安装Go和配置环境
Linux 使用Yum安装Go和配置环境