硬盘文件存储与读取

简介: 为什么需要内存?因为你们人类造不出来一个能够断电存储的, 大容量的, 访问速度快的,当然还要便宜的硬盘来。如果能制造出来了, CPU就可以直接访问硬盘了, 就不需要利用多级缓存、直接内存访问、多进程/线程切换等方法缓解CPU-硬盘之间的速度差距太大的问题了。

为什么需要内存?因为你们人类造不出来一个能够断电存储的, 大容量的, 访问速度快的,当然还要便宜的硬盘来。

如果能制造出来了, CPU就可以直接访问硬盘了, 就不需要利用多级缓存、直接内存访问、多进程/线程切换等方法缓解CPU-硬盘之间的速度差距太大的问题了。

硬盘结构

主轴带着盘片疯狂的旋转,每个盘片由一圈一圈的磁道组成, 每个磁道又分为一个一个的扇区,多个盘片上的同一位置的磁道组成了一个柱面,最后每个盘片上都有可以读写数据的磁头。

如果你想访问数据可以这样表示: 获取0柱面,0磁头,1扇区的数据。 

寻道时间:把磁头挪到您指定的柱面,对每个磁盘来讲其实就是指定的磁道。

旋转时间:旋转磁盘,让磁头指向您指定的扇区,这才能开始读取数据。

ps:(不同操作系统的有不同存取策略)

文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector)。每个扇区储存512字节(相当于0.5KB)。

操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个""(block)。

这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB,即连续八个扇区组成一个块。

文件抽象

柱面,磁头,扇区这些描述太繁琐,抽象磁盘块来表示,譬如编号1的磁盘块就是0柱面,0磁头,1扇区(也可以是0柱面,0磁头,1-8扇区),具体由虚拟化技术实现。

人类的最小存储单位是文件,你想存任何东西,无论多么小,非得建个文件不可。

多个文件可以放到一个目录(其实也是个特殊的文件)里, 目录之上还可以有目录,形成一个树的结构。

如何记录文件存储使用了哪些块?

  • 连续记录的方式:只要知道了开头和长度,就像数组一样可以随便访问。碎片问题比较严重,删掉文件后会导致存储空间不连续了。
  • 链式记录: 所有使用到的块形成一个链,这种方式随机访问效果太差,每次只能从第一块开始找,对大文件太痛苦了。
  • 索引式记录:拿出一块(称为inode)存储此文件属性和该文件使用的所有块编号, 这种方式需要用额外的inode块存放线索数据。

读取  /tmp/test.log  这个文件, 查找次序是这样的:根目录inode->根目录磁盘块->tmp目录inode->tmp目录磁盘块->test.log的 inode->读取磁盘块”

如果是修改尤其是删除需要保证事务,例如想删除上面的文件/tmp/test.log,需要这些步骤:

(1) 在目录中删除文件

(2) 释放inode 到空闲的节点池, 这样可以复用

(3) 将磁盘块释放到空闲的磁盘块池

类似数据库的redo和undo日志的操作方式,日志写入磁盘永远发生在正式操作之前,回滚需保证幂等。 

begin  undo1  do1  undo2  undo3  do2  do3  end 

管理空闲块

目录和文件的存储问题解决了, 接下来需要把那些没有使用的、空白的、数量上亿的磁盘块给管理起来,只有这样, 新的文件来的时候,才能分配空间存储。

位图法,对每个磁盘块(编号是有序自然数),如果已经被使用,那就标记为1,没被使用就是0。 这样整个磁盘块就形成了一个由0和1组成的一个大位图。

Linux ext2文件系统

这个硬盘主要由MBR(Master Boot Record)和各个磁盘分区组成。

MBR中的有引导代码和磁盘分区表,分区表中记录了每个分区的起始位置,以及哪个磁盘分区是活动分区,这样系统就会找到它,然后装载这个分区中的引导块,并执行之。

引导块将会装载存储在本分区的操作系统,每个分区都有一个引导块(即卷引导记录或者扩展引导记录,详见计算机是如何启动的第二三阶段),不管这个分区有没有操作系统,这是各大厂商的约定,是一种标准。

每个分区除了必须的引导块之外又被分成多个块组。在每个块组中能看到磁盘块位图(磁盘块管理)和inode位图(索引块管理)还有inode表(存放文件和目录的inode)和真正的数据块。 

Inode

文件数据都储存在"块"中,很显然必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文译名为"索引节点"。

每一个文件都有对应的inode,inode包含文件的元信息,具体来说有以下内容:

  • 文件的字节数
  • 文件拥有者的User ID
  • 文件的Group ID
  • 文件的读、写、执行权限
  • 文件的时间戳,共有三个:ctime指inode上一次变动的时间,mtime指文件内容上一次变动的时间,atime指文件上一次打开的时间。
  • 链接数,即有多少文件名指向这个inode
  • 文件数据block的位置

可以用stat命令,查看某个文件的inode信息: stat log.txt

  dir# stat log.txt 
16777220 7872305 -rw-r--r-- 1 shanfeng staff 0 42 "Dec 29 12:55:05 2017" "May 18 15:32:56 2017" "Jul 21 10:04:07 2017" "Feb 21 12:33:07 2017" 4096 8 0 log.txt

总之,除了文件名(文件名在目录文件中,见目录文件的解释)以外的所有文件信息,都存在inode之中。

inode的大小

inode也会消耗硬盘空间,硬盘格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode区(inode table),存放inode所包含的信息。

每个inode节点的大小,一般是128字节或256字节。inode节点的总数,在格式化时就给定,一般是每1KB或每2KB就设置一个inode。假定在一块1GB的硬盘中,每个inode节点的大小为128字节,每1KB就设置一个inode,那么inode table的大小就会达到128MB,占整块硬盘的12.8%。

查看每个硬盘分区的inode总数和已经使用的数量,可以使用df命令  df -i。

查看每个inode节点的大小,可以用如下命令:sudo dumpe2fs -h /dev/hda | grep "Inode size"。

由于每个文件都必须有一个inode,因此有可能发生inode已经用光,但是硬盘还未存满的情况。这时,就无法在硬盘上创建新文件。

inode的号码

每个inode都有一个号码,操作系统用inode号码来识别不同的文件。

Unix/Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称或者绰号。

表面上用户通过文件名打开文件。实际上,系统内部这个过程分成三步:首先,系统找到这个文件名对应的inode号码;其次,通过inode号码,获取inode信息;最后,根据inode信息,找到文件数据所在的block,读出数据。见上图。

使用ls -i命令,可以看到文件名对应的inode号码:ls -i log.txt

目录文件

Unix/Linux系统中,目录(directory)也是一种文件。打开目录,实际上就是打开目录文件。

目录文件的结构非常简单,就是一系列目录项(dirent)的列表。

每个目录项,由两部分组成:所包含文件的文件名,该文件名对应的inode号码。 见上图。

ls -i命令列出整个目录文件,即文件名和inode号码:ls -i /etc  无需读取目录下的文件的inode节点。

如果要查看文件的详细信息,就必须根据inode号码,访问inode节点,读取信息。ls -l命令列出文件的详细信息。

ps:

目录文件的读权限(r)和写权限(w),都是针对目录文件本身。由于目录文件内只有文件名和inode号码,所以如果只有读权限,只能获取文件名,无法获取其他信息,因为其他信息都储存在inode节点中,而读取inode节点内的信息需要目录文件的执行权限(x)

目录文件的"链接数"。创建目录时,默认会生成两个目录项:"."和".."。前者的inode号码就是当前目录的inode号码,等同于当前目录的"硬链接";后者的inode号码就是当前目录的父目录的inode号码,等同于父目录的"硬链接"。所以,任何一个目录的"硬链接"总数,总是等于2加上它的子目录总数(含隐藏目录)。

硬链接

一般情况下,文件名和inode号码是"一一对应"关系,每个inode号码对应一个文件名。但是Unix/Linux系统允许,多个文件名指向同一个inode号码。

这意味着可以用不同的文件名访问同样的内容;对文件内容进行修改,会影响到所有文件名;但是删除一个文件名,不影响另一个文件名的访问。这种情况就被称为"硬链接"(hard link)。

ln命令可以创建硬链接:ln 源文件 目标文件

运行上面这条命令以后,源文件与目标文件的inode号码相同,都指向同一个inode。inode信息中有一项叫做"链接数",记录指向该inode的文件名总数,这时就会增加1。

反过来,删除一个文件名,就会使得inode节点中的"链接数"减1。当这个值减到0,表明没有文件名指向这个inode,系统就会回收这个inode号码,以及其所对应block区域。

软链接

文件A和文件B的inode号码虽然不一样,但是文件A的内容是文件B的路径。读取文件A时,系统会自动将访问者导向文件B。因此,无论打开哪一个文件,最终读取的都是文件B。这时,文件A就称为文件B的"软链接"(soft link)或者"符号链接(symbolic link)。

这意味着文件A依赖于文件B而存在,如果删除了文件B,打开文件A就会报错:"No such file or directory"。这是软链接与硬链接最大的不同:文件A指向文件B的文件名,而不是文件B的inode号码,文件B的inode"链接数"不会因此发生变化

ln -s命令可以创建软链接:ln -s 源文文件或目录 目标文件或目录

inode的特殊作用

由于inode号码与文件名分离,这种机制导致了一些Unix/Linux系统特有的现象。

  1. 文件名包含特殊字符,无法正常删除。这时,直接删除inode节点,就能起到删除文件的作用。

  2. 移动文件或重命名文件,只是改变文件名,不影响inode号码。

  3. 打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。因此,通常来说,系统无法从inode号码得知文件名。

ps:

第3点使得软件更新变得简单,可以在不关闭软件的情况下进行更新,不需要重启。因为系统通过inode号码,识别运行中的文件,不通过文件名。更新的时候,新版文件以同样的文件名,生成一个新的inode,不会影响到运行中的文件。等到下一次运行这个软件的时候,文件名就自动指向新版文件,旧版文件的inode则被回收。

删除目录:find . -inum 6340540 -delete

删除文件:find . -inum 6340540 | xargs rm -f

目录
相关文章
|
6月前
|
存储 运维 Oracle
服务器数据恢复-DS5300存储硬盘出现坏道离线的数据恢复案例
服务器数据恢复环境: 某单位一台DS5300存储,1个主机+4个扩展柜,组建了2组RAID5(一组27块硬盘,一组23块盘)。27块盘的那组RAID5阵列存放Oracle数据库文件,存储系统一共分了11个卷。 服务器故障: 27块盘的那组RAID5阵列中有2块磁盘故障离线,导致RAID阵列崩溃,存储不可用,存储设备已经过保。
服务器数据恢复-DS5300存储硬盘出现坏道离线的数据恢复案例
|
6月前
|
存储 算法 数据挖掘
服务器数据恢复—raid6硬盘故障导致nas存储无法访问的数据恢复案例
一台nas存储中有一组由十几块硬盘组建的raid6磁盘阵列。 nas存储中的raid6阵列成员盘出现故障离线,磁盘阵列崩溃,nas存储无法正常访问。
服务器数据恢复—raid6硬盘故障导致nas存储无法访问的数据恢复案例
|
8月前
|
存储 数据挖掘 数据管理
文件存储可以用于以下场景:
文件存储可以用于以下场景:
199 1
|
10月前
|
Windows
【无需格式化硬盘即可C盘扩容以及新建磁盘】
【无需格式化硬盘即可C盘扩容以及新建磁盘】
659 1
【无需格式化硬盘即可C盘扩容以及新建磁盘】
|
11月前
|
XML 存储 Java
数据存储之文件存储
数据存储之文件存储
89 0
|
12月前
|
存储 Java Shell
数据存储与访问——文件存储读写
本节给大家介绍的是Android数据存储与访问方式中的一个——文件存储与读写,当然除了这种方式外,我们可以存到SharedPreference,数据库,或者Application中。
63 0
|
存储 缓存 固态存储
磁盘存储和文件系统| 学习笔记
快速学习磁盘存储和文件系统
148 0
磁盘存储和文件系统| 学习笔记
|
文件存储
文件存储
文件存储
|
文件存储 数据安全/隐私保护
文件存储 CPFS管理文件系统包括哪些操作
本文介绍如何在阿里云NAS控制台上管理CPFS文件系统,包括查看文件系统列表、查看文件系统详情等操作。
754 0
|
弹性计算 网络安全 文件存储
文件存储 CPFS创建文件系统的重要步骤
本文介绍如何通过控制台创建CPFS文件系统。
736 0