《Linux命令行与shell脚本编程大全》 第八章管理文件系统

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 8.1 探索linux文件系统 8.1.1 基本的Linux文件系统 ext:最早的文件系统,叫扩展文件系统。使用虚拟目录操作硬件设备,在物理设备上按定长的块来存储数据。 用索引节点的系统来存放虚拟目录中所存储的文件信息。

8.1 探索linux文件系统

8.1.1 基本的Linux文件系统

ext:最早的文件系统,叫扩展文件系统。使用虚拟目录操作硬件设备,在物理设备上按定长的块来存储数据。

用索引节点的系统来存放虚拟目录中所存储的文件信息。

有一张索引节点表:对应每个文件都有一个条目,存储了(文件名,文件大小,文件属主,文件属组,访问权限,还有一个指针)

通过索引节点号来标识文件

文件大小不得超过2GB。

在文件写入到物理设备时,存储数据很容易分散在整个设备中(碎片化),降低文件系统的性能。查找起来费时。

 

ext2:第二代扩展文件系统:

增加了创建时间值,修改时间值,最后访问时间值。最大文件大小增加到2TB。(ext2后期增加到32TB)

按组分配磁盘块来减轻碎片化,将数据块分组,读取文件时就不需要为了数据块查找整个物理设备了。

 

致命问题:每次存储或更新文件,都要同新信息来更新索引节点表,这个操作并非总是一气呵成的。容易在系统崩溃或断电时损坏。

 

8.1.2 日志文件系统

增加了安全性。不再将数据直接写入存储设备再更新索引节点的做法,而是先将文件的更改写到临时文件(称为日志,journal)。成功写入存储设备和索引节点之后,再删除对应日志条目。

这样即使断电了,日志文件系统会读取日志文件并处理之前留下的未写入的数据。

有三种广泛使用的日志方法,每种的保护等级都不相同:

数据模式(最安全,性能最差),有序模式,回写模式(性能最好,安全性差点)。

这样很安全,但是比较慢,因为都要写两次。第一次写入日志,第二次写入存储设备。

下面介绍常见的linux日志文件系统。

1 ext3:

用的是有序模式的日志功能。

不足:无法恢复误删的文件,没有任何内建的数据压缩功能,不支持加密文件

2 ext4:  2008年受到linux内核官方支持。大部分linux发行版的默认文件系统

支持数据压缩和加密。还支持一个特性(区段)

还有一项技术块预分配技术:

3 Reiser 文件系统:

只支持回写日志模式

4 JFS文件系统:

目前在用的最古老的日志文件系统之一。采用的是有序日志的方法。

这个文件系统没有流行起来。

5.XFS文件系统:

回写模式。

 

8.1.3 写时复制文件系统(COW技术, copy-on-write)

如果要修改数据,会使用克隆或可写快照。修改过的数据不会直接覆盖当前数据,而是放在另一个位置。即使数据修改已经完成,之前的旧数据也不会被重写。

COW技术已经日渐流行,下面是两种比较流行的。

1.ZFS文件系统

Sun公司2005年搞的,是一个稳定的文件系统。

弱点:没有使用GPL许可

2.Btrf文件系统

B树文件系统。Oracle2007年搞的。稳定性较好。

 

8.2操作文件系统

8.2.1 创建分区

一开始必须在存储设备上创建分区来容纳文件系统。分区可以是整个硬盘,也可以是部分硬盘。

Fdisk工具用来帮助管理安装在系统上的任何存储设备上的分区。

要启动fdisk命令需要指定到分区的存储设备的设备名,还要有超级用户权限

 

$sudo fdisk /dev/sdb    // 插入一个U盘就有了/dev/sdb

其余的步骤可以根据提示去做

 

8.2.2创建文件系统

将数据存储到分区以前,必须用某种文件系统对其进行格式化,这样linux才能使用它。

每种文件系统类型都用自己的命令行程序来格式化分区。

$type mkfs.ext4  // 查看这个工具是否可用。

$ sudo mkfs.ext4 /dev/sdb1  // 这样就是创建一个默认的稳健性系统,还可以加参数

为分区创建文件系统之后,下一步是将它挂载到虚拟目录下的某个挂载点,这样就可以将数据存储在新文件系统中了。

 

$mkdir my_partition

$sudo mount –t ext4 /dev/sdb1  curr_dir/my_partition

这种挂载是临时的,重启就没有了。在linux启动时就自动挂载可以将其添加到/etc/fstab文件中去。

 

总结:要操作文件系统需要三个步骤:

(1)先创建分区, sudo fdisk /dev/sdb

(2)对分区格式化,并创建文件系统:$ sudo mkfs.ext4 /dev/sdb1

(3)将文件系统挂载到虚拟目录下的某个挂载点:

$sudo mount –t ext4 /dev/sdb1  curr_dir/my_partition

 

8.2.3 文件系统的检查与修复。

fsck 命令能够检查和修复大部分类型的linux文件系统。

命令格式:  fsck options filesystem

只能在未挂载的文件系统上运行fsck命令,对于已挂载的,可以先卸载,检查完成再挂载。

 

8.3 逻辑卷管理

(这一节不是很明白,尴尬)

用标准分区在硬盘上创建了文件系统,为已有文件系统添加额外的空间是一件麻烦的事情。

只能在同一个物理硬盘的可用空间范围内调整分区大小,如果硬盘上没有地方了,只能搞个更大的硬盘,再手动将已有的文件系统移动到新的硬盘上。

 

逻辑卷管理器(LVM):可以通过将另一个硬盘上的分区加入已有的文件系统,动态的添加存储空间。

优点是:不需要重建整个文件系统的情况下,轻松的管理磁盘空间。

 

8.3.1逻辑卷管理布局

核心在于如何处理安装在系统上的硬盘分区。

硬盘称为物理卷(PV),每个物理卷都会映射到硬盘上特定的物理分区。

多个物理卷集中在一起可以形成一个卷组(VG)。

逻辑卷管理系统将卷组视为一个物理硬盘。

整个结构的最后一层的逻辑卷(LV),逻辑卷为linux提供了创建文件系统的分区环境,类似于目前为止我们探讨的linux的物理硬盘分区。

Linux系统将逻辑卷视为物理分区。

 

8.3.2 linux中的LVM

Heina Mauelshagen开发的,1998年发布到Linux社区。允许你在linux上用简单的命令行管理一个完整的逻辑卷管理环境。

Linux LVM有两个可用的版本:

(1)LVM1:只能用于Linux内核2.4版本,仅提供基本的逻辑卷管理功能

(2)LVM2:可用于Linux内核2.6版本,提供了额外的功能

 

8.3.3使用Linux LVM

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
Shell Linux
【linux】Shell脚本中basename和dirname的详细用法教程
本文详细介绍了Linux Shell脚本中 `basename`和 `dirname`命令的用法,包括去除路径信息、去除后缀、批量处理文件名和路径等。同时,通过文件备份和日志文件分离的实践应用,展示了这两个命令在实际脚本中的应用场景。希望本文能帮助您更好地理解和应用 `basename`和 `dirname`命令,提高Shell脚本编写的效率和灵活性。
139 32
|
29天前
|
JavaScript Ubuntu Linux
如何在阿里云的linux上搭建Node.js编程环境?
本指南介绍如何在阿里云Linux服务器(Ubuntu/CentOS)上搭建Node.js环境,包含两种安装方式:包管理器快速安装和NVM多版本管理。同时覆盖全局npm工具配置、应用部署示例(如Express服务)、PM2持久化运行、阿里云安全组设置及外部访问验证等步骤,助你完成开发与生产环境的搭建。
|
2月前
|
Linux
Linux编程: 在业务线程中注册和处理Linux信号
本文详细介绍了如何在Linux中通过在业务线程中注册和处理信号。我们讨论了信号的基本概念,并通过完整的代码示例展示了在业务线程中注册和处理信号的方法。通过正确地使用信号处理机制,可以提高程序的健壮性和响应能力。希望本文能帮助您更好地理解和应用Linux信号处理,提高开发效率和代码质量。
67 17
|
2月前
|
Linux
Linux编程: 在业务线程中注册和处理Linux信号
通过本文,您可以了解如何在业务线程中注册和处理Linux信号。正确处理信号可以提高程序的健壮性和稳定性。希望这些内容能帮助您更好地理解和应用Linux信号处理机制。
67 26
|
2月前
|
缓存 Shell 开发工具
[oeasy]python064_命令行工作流的总结_vim_shell_python
本文总结了命令行工作流中的关键工具和操作,包括vim、shell和Python。主要内容如下: 1. **上次回顾**:完成了输入输出的代码编写,并再次练习了vim的使用。 2. **shell基础**:介绍了shell环境及其基本命令,如`pwd`、`cd`、`ll -l`等。 3. **Python游乐场**:通过`python3`命令进入Python交互环境,可以进行简单计算和函数调用,常用函数有`help`、`ord`、`chr`等。 4. **vim编辑器**:详细讲解了vim的三种模式(正常模式、插入模式、底行命令模式)及其切换方法,以及常用的底行命令如`:w`、`:q`、`
102 15
|
7月前
|
Shell Linux
Linux shell编程学习笔记30:打造彩色的选项菜单
Linux shell编程学习笔记30:打造彩色的选项菜单
|
4月前
|
存储 监控 Linux
嵌入式Linux系统编程 — 5.3 times、clock函数获取进程时间
在嵌入式Linux系统编程中,`times`和 `clock`函数是获取进程时间的两个重要工具。`times`函数提供了更详细的进程和子进程时间信息,而 `clock`函数则提供了更简单的处理器时间获取方法。根据具体需求选择合适的函数,可以更有效地进行性能分析和资源管理。通过本文的介绍,希望能帮助您更好地理解和使用这两个函数,提高嵌入式系统编程的效率和效果。
191 13
|
5月前
|
人工智能 Shell iOS开发
AI Shell:在命令行里“对话” AI ,微软推出将 AI 助手引入命令行的 CLI 工具,打造对话式交互命令行
AI Shell 是一款强大的 CLI 工具,将人工智能直接集成到命令行中,帮助用户提高生产力。AI Shell 支持多种 AI 模型和助手,通过多代理框架提供丰富的功能和灵活的使用模式。
611 7
|
5月前
|
存储 Shell Linux
Linux 如何更改默认 Shell
Linux 如何更改默认 Shell
212 0
Linux 如何更改默认 Shell
|
6月前
|
Web App开发 网络协议 Linux
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】
这篇文章是关于Linux命令的总结,涵盖了从基础操作到网络配置等多个方面的命令及其使用方法。
146 1
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】