ext4文件系统新特性

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

Ext4是内核版本2.6.28的重要部分。

介绍

Ext4是Linux文件系统的一次革命。在很多方面,Ext4相对于Ext3的进步要远超过Ext3相对于Ext2的进步。Ext3相对于 Ext2的改进主要在于日志方面,但是Ext4相对于Ext3的的改进是更深层次的,是文件系统数据结构方面的优化。一个高效的、优秀的、可靠的和极具特点的文件系统就此诞生。

兼容性

任何Ext3文件系统都可以轻松的迁移到Ext4文件系统,你只需要在只读模式下运行几条命令即可。这就意味着你完全可以不格式化硬盘、不重装操作系统、不重装软件环境,就能够顺利的升级到Ext4文件系统。这种升级方法不会损害到你硬盘上的数据和资料,因为Ext4仅会在新的数据上使用,而基本不会改动原有数据。

更大的文件系统/文件大小

Ext3支持最大16TB的文件系统,2TB的文件大小。Ext4将支持最大1EB的文件系统,16TB的文件大小。

1EB=1024PB=1024*1024TB=1024*1024*1024GB

上述这个特性是由于Ext4采用了48位寻址。有人会问,为什么不是64位呢?因为就目前的开发进展来看,实现64位寻址存在一些技术限制,但是Ext4已经在考虑这个问题了,在不久的将来,Ext4将实现完全的64位支持。

子目录可扩展性

目前的Ext3中,单个目录下的子目录数目的上限是32000个。而在Ext4中打破了这种限制,可以创建无限多个子目录。

Extents

传统的类UNIX文件系统,比如Ext3,都是使用一个间接数据块映射表来记录每一个数据块的分配情况的。但是这种机制对于超大文件的存储是有缺陷
的,特别是当对超大文件进行删除和截断操作时。映射表会对每一个数据块进行记录,而一个超大文件将占有很多的数据块,因此造成映射表将变得无比臃肿,难于
维护。Ext4引入了一个新的概念,叫做“Extents”。一个Extents是一个地址连续的数据块的集合。比如一个100MB的文件将被分配给一个
单独的Extents,这样就不用像Ext3那样新增25600个数据块的记录(一个数据块是4KB)。而超大型文件会被分解在多个extents里。

Extents的实现提高了文件系统的性能,减少了文件碎片。

多块分配

在Ext3中,“将新的数据写入磁盘的哪些空闲块”是由块分配器来控制的。但是Ext3的块分配器存在一定缺陷,那就是它一次只能够分配一个数据块
(4KB),这就意味着,如果系统需要向磁盘中写入100MB的数据,那么需要调用块分配器25600次,而且由于块分配器无法获知总的分配块数,所以也
无法对分配空间和分配位置进行优化。

在Ext4中,使用了“多块分配器”,即一次调用可以分配多个数据块,这种机制提高了系统的性能,而且使得分配器有了充足的优化空间。

延迟分配

延迟分配(Delayed allocation)是一项仅仅少数现代文件系统才具有的优秀特性,比如XFS、ZFS、btrfs(better
FS)以及Reiser4。它能够尽可能的积累更多的数据块再分配出去,相对比,传统的文件系统则会尽快的将数据块分配出去,如Ext3,reiser3
等。

这项特性会和Extents特性以及多块分配特性相结合,使得磁盘IO性能得到显著提高。

更快速的FSCK

在Ext3中,Fsck本身是个速度很慢的操作,因为它要检查文件系统里的每一个“i节点”。但是,Ext4会维护一个未使用的“i节点”表,在进行
fsck操作时,会跳过表中节点,只检查正在使用中的i节点。这种机制使得fsck的效率提高为原有Ext3文件系统的2到20倍。不过,你要注意到一
点,那就是这个未使用的i节点表是由fsck来维护的,而不是由Ext4,因此你必须要首先运行一次fsck来生成,这样,在下次再运行fsck时才可以
享受提速。(虽然表是由fsck来维护的,但你还是需要从Ext3升级到Ext4才能够享受这项功能)

日志校验

日志要算是磁盘中最常用的部分了,也是最容易使硬盘出问题的机制之一。如果你不幸使用一个已经崩溃的日志来恢复系统的话,将导致更大规模的系统崩溃。
Ext4提供校验日志数据的功能,可以查看其潜在错误。而且,Ext4还会将Ext3日志机制中的“两阶段提交”动作合并为一个步骤,这种改进将使文件系
统的操作性能提升20%。这就是Ext4在日志机制方面对可靠度和性能的双重提升。

在线磁盘整理

这个特性没有包括在内核版本2.6.28之中,但是它很有可能会在下一个版本中引入。

虽然Extents、多块分配和延迟分配都有助于减少磁盘碎片,但是磁盘碎片仍然会产生。举例来说:你在一个目录下建立了三个文件 (f1,f2,f3),它们被按序写入到连续的一段内存之
中。然而几天之后,你想要更新文件f2,也就是位于这段连续内存的中间那一段的那个文件。我要向
这个文件中增加一些字符。很明显,在这段连续内存之中已经没有地方放下增加的这些字符,这别无选择,只能将这个f2文件移动到一个能容纳下的新的连续内存
之中。这导致了f2文件和f1、f3文件离的非常远,读取也相对缓慢了。看,这就产生了磁盘碎片了。

还有,可引导文件应该被放在连续的内存之中,但是磁盘整理机制并不知道哪些文件是可引导文件。

为了解决上述问题,Ext4将支持在线磁盘整理,e4defrag工具也被用来支持更智能的磁盘碎片整理功能。

结点相关特性

更大的i结点:Ext3支持自定义i结点大小,但是默认的i结点大小是128字节,Ext4将默认大小提升到256字节。增加的空间用来存储更多的结点信息,这样有利于提升磁盘性能。

i结点预留机制:当新建一个目录时,若干i结点会被预留下来,等新的文件在此目录中创建时,这些预留的i结点就可以立即被使用。文件的建立和删除将变得更加高效。

毫微秒级的时间戳:在Ext3中,时间精度是秒。在Ext4中,时间精度提升到了毫微秒。

可持续预分配

这个特性,已经出现在了Ext3的最后几个内核版本中,并且也可以由glibc在不支持此功能的文件系统中模拟产生,允许应用程序去预分配磁盘空间。应用程序告知文件系统给预留出一定的空间,文件系统会据此预分配必要的数据块,但是这些数据块将会是空的,直到应用程序向里面写入数据为止。这个机制会常常在P2P应用程序中用到,因为P2P应用程序下载文
件常常需要几天的时间。这种机制也防止了磁盘碎片的产生,因为文件系统会一次性分配尽可能连续的数据块给应用程序。再者,这种机制对于实时系统非常重要,
因为一旦没有这种机制,可能将会导致在一次重要操作的半截,磁盘空间已满。这项特性是通过调用posix_fallocate()来实现的。

如何使用Ext4

目前的Ext4文件系统是第一个稳定版本,整个的开发进度和发布计划都被放缓了,就是为了保证用户可以享受到“和使用Ext3同等级”的稳定。

一个非常重要的事情是,目前还没有Ext4 Grub。更准确的说,就是目前没有grub支持ext4。换句话说,就是你目前的发行版本的grub不支持ext4。目前我们的Grub2正在开发之中,在ubuntu和debian发行版中已经有了grub2的grub-pc软件包了,但是目前官方仍没有宣布正式支持。在Google SoC中也包含了一个开发版本,且发布了相关补丁。你可以试用一下,你自己选择喽。

在你的发行版本的下一个新版本之中,可能会有相关的支持出现。所以安全起见,尽量保持你的/boot目录为Ext3文件系统类型。

警告归警告,转换到Ext4其实是件很容易的事情,如下方法均可:

1 建立一个全新的Ext4文件系统。

这是最简单的方法,你只需要升级你的e2fsprogs到Ext4,并且使用mkfs.ext4命令创建文件系统即可。

2 从Ext3迁移到Ext4。

你需要使用tune2fs命令和fsck命令,并且当前文件系统需要被卸载才可以。运行命令

tune2fs -O extents,uninit_bg,dir_index /dev/yourfilesystem

此后,你务必运行fsck命令,否则Ext4将无法挂载你的新文件系统。在fsck过程中,可能会有一些error需要你的确认。你可以考虑使用 -p选项,来告诉fsck你想要的是“automatic repair”,即fsck -pf /dev/yourfilesystem

3 使用Ext4来挂载一个Ext3文件系统。

你可以使用mount
-t ext4 /dev/yourpartition
/mnt来将一个Ext3文件系统用Ext4来挂载,但你将享受不到那些需要改变磁盘格式才可以享受得到的特性,比如Extents。你可以享受到的只有
那些不需要改变磁盘格式即可享受得到的特性,比如多块分配、延迟分配等。我们当然不建议您这么做,因为Ext4的优秀特性,您将无法体会….


本文转自叶金荣51CTO博客,原文链接:http://blog.51cto.com/imysql/1879722,如需转载请自行联系原作者

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
Java 关系型数据库 MySQL
maven项目中添加MySql依赖失败(以及maven的安装到maven项目的使用过程)
maven项目中添加MySql依赖失败(以及maven的安装到maven项目的使用过程)
4097 1
maven项目中添加MySql依赖失败(以及maven的安装到maven项目的使用过程)
|
3月前
|
开发者 存储 算法
京东商品评论接口(jingdong.ware.comment.get)技术解析:数据拉取与情感分析优化
本文详解京东商品评论接口(jingdong.ware.comment.get)的技术对接全流程,涵盖核心字段解析、签名生成、请求参数配置及数据处理要点。针对签名失败、405错误、空数据等高频问题提供避坑方案,并结合Python代码实现结构化解析与情感分析优化,助力开发者高效集成,降低试错成本。
京东商品评论接口(jingdong.ware.comment.get)技术解析:数据拉取与情感分析优化
|
6月前
|
传感器 机器学习/深度学习 算法
布谷RC汽车远程遥控控制系统源码:技术与功能深度解析​
遥控汽车(RC汽车)以其趣味性和操控性深受爱好者喜爱,其核心在于精密的控制系统源码。山东布谷科技在该领域成果显著,通过优化主控芯片、电机驱动模块及通信模块代码,实现精准控制与稳定传输。系统支持PID算法等技术,提升车辆性能,并拓展智能避障、自动驾驶等功能。实际应用中,布谷科技源码助力竞技比赛与教育科研,未来将融入深度学习和多车协同控制,推动RC汽车向智能化、高效化发展。
|
9月前
|
人工智能 弹性计算 自然语言处理
5分钟部署,解锁100种和AI大模型的交互可能
在AI技术飞速发展的今天,个人大模型的部署与应用面临复杂流程和高门槛。阿里云推出高效、易用的个人AI大模型部署方案,支持多模型集成、灵活扩展和定制化主页,帮助用户快速搭建专属AI主页,实现智能化新体验,真正把“AI玩出花”。
|
10月前
|
人工智能 Java 程序员
AI程序员(通义灵码)
本文聚焦通义灵码在项目开发中的应用,详细介绍以IntelliJ IDEA 2024.3为平台,安装通义灵码插件的步骤,为后续开发筑牢基础。以开发英语单词默写考试应用为例,阐述从新建Spring Boot项目、配置相关参数与依赖,到借助通义灵码输入精确提示词进行项目代码生成的完整流程。在开发过程中,提示词经过十余次调整,优化为涵盖项目概况、功能明细及优化要求的结构,如同与开发人员深度沟通协作,确保项目满足预期。项目成功启动并完成测试,展现通义灵码的强大助力。文章最后指出,掌握AI工具的人将在竞争中占据优势,AI如同工业革命时期的新生产工具,并非取代人类,而是推动工作效率提升与行业变革。
451 3
|
机器学习/深度学习 数据采集 数据挖掘
Python在数据科学中的应用:从数据处理到模型训练
Python在数据科学中的应用:从数据处理到模型训练
|
Linux 开发者
Linux的诞生:Linus Torvalds的“惊天一敲”与Linux内核的“首秀”
在科技界璀璨星辰中,Linus Torvalds以一次“惊天一敲”悄然点燃了革命之火——Linux就此诞生。1991年,不满现状的Linus决定创造更好的操作系统,这一敲不仅开启了个人传奇,更奏响了技术革新的序章。他将Linux内核低调发布网络,随即吸引了全球开发者的目光与贡献,使之迅速成长为开源世界的巨星。Linus的故事告诉我们:伟大创举常源于微小想法,也许下一个改变世界的“一敲”就出自你手。
564 1
|
机器学习/深度学习 自然语言处理 异构计算
【NLP自然语言处理】初识深度学习模型Transformer
【NLP自然语言处理】初识深度学习模型Transformer
|
存储 负载均衡 算法
TiKV简介
【2月更文挑战第27天】本章节旨在为读者提供一个关于TiKV存储引擎的初步认识,包括其基本概念、产生背景、主要特性以及在分布式存储领域中的应用。通过本章节的介绍,读者将能够对TiKV有一个整体的了解,为后续深入学习其存储原理和数据模型奠定基础。
|
设计模式 Java 测试技术
公司为何禁止在SpringBoot中使用@Autowired注解?
【8月更文挑战第15天】在Spring Boot的广泛应用中,@Autowired注解作为依赖注入的核心机制之一,极大地简化了Bean之间的装配过程。然而,在某些企业环境下,我们可能会遇到公司政策明确禁止或限制使用@Autowired注解的情况。这一决策背后,往往蕴含着对代码质量、可维护性、测试便利性以及团队开发效率等多方面的考量。以下将从几个方面深入探讨这一决定的合理性及替代方案。
560 0