存储学习

简介: 存储学习

论文

Linux I/O栈

工具

调试节点

dd

FIO

ioprof

blktrace

iotrace

iostat

hdparm

  • 查看一个文件实际使用了哪些扇区
hdparm --fibmap xxx

dumpe2fs

用法(来自chatgpt)

dumpe2fs 是一个用于显示 ext2、ext3、ext4 文件系统信息的命令行工具。以下是 dumpe2fs 的用法:

dumpe2fs [选项] 设备文件名

其中,[选项] 可以是以下任意组合:

  • -h:显示帮助信息。
  • -V:显示版本信息。
  • -b:显示块位图的信息。
  • -i:显示 inode 位图的信息。
  • -I:显示 inode 表的信息。
  • -l:显示文件系统的块和 inode 的数量、大小、使用情况等信息。
  • -o:显示文件系统的挂载选项。
  • -p:显示文件系统的预读块数。
  • -r:显示文件系统的块组摘要信息。
  • -S:显示文件系统的超级块信息。
  • -x:显示文件系统的扩展信息。

设备文件名 是要显示信息的文件系统所在的设备文件名,例如 /dev/sda1

例如,要显示 /dev/sda1 文件系统的块和 inode 的数量、大小、使用情况等信息,可以使用以下命令:

dumpe2fs -l /dev/sda1

debugfs

debugfs 是一个用于调试文件系统的工具,可以用于查看和修改文件系统的内部状态。以下是一些常见的 debugfs 命令:

  1. 打开文件系统:debugfs /dev/sda1 (假设 /dev/sda1 是要调试的文件系统)
  2. 查看文件系统的超级块信息:stat <文件系统根目录的inode号>
  3. 查看文件系统的块位图:bmap <文件名>
  4. 查看文件系统的inode位图:imap <文件名>
  5. 查看文件系统的inode信息:inode <inode号>
  6. 查看文件系统的目录项信息:ls <目录名>
  7. 查看文件系统的文件内容:cat <文件名>
  8. 修改文件系统的inode信息:write <inode号> <偏移量> <数据>
  9. 修改文件系统的目录项信息:set <目录项名> <inode号>
  10. 退出 debugfsquit

请注意,使用 debugfs 可能会对文件系统造成不可逆的损坏,因此在使用之前请务必备份数据。

fsck

tune2fs

blockdev

smartctl

NVME CLI

sg3_utils

Storcli64

MegaRAID

内核

文件系统

EXT2/3/4

EXT4

EXT2

F2FS

FUSE

Overlay

脏页回写

预读

模拟设备

block cgroup

throttle

io latency

io prio

io cost

Discard

blk-mq

IO调度器

Integrity

Encryption

Zoned Block Device

Device Mapper

LVM

Multipath

IO Uring

Bcache

Flashcache

DirectIO

SCSI

iscsi

NVME

RAID

书籍推荐

  • 《存储技术原理分析 基于Linux 2.6内核源代码》
  • 《Linux内核探秘:深入解析文件系统和设备驱动的架构与设计》
  • 《深入浅出ssd-固态存储核心技术原理与实战》
  • 《大话存储》

问题排查

相关文章
|
监控 调度 开发工具
IO神器blktrace使用介绍
## 前言 1. blktrace的作者正是block io的maintainer,开发此工具,可以更好的追踪IO的过程。 2. blktrace 结合btt可以统计一个IO是在调度队列停留的时间长,还是在硬件上消耗的时间长,利用这个工具可以协助分析和优化问题。 ## blktrace的原理 一个I/O请求的处理过程,可以梳理为这样一张简单的图: ![](http://image
19910 0
|
Linux 网络安全 Android开发
振南技术干货集:各大平台串口调试软件大赏(2)
振南技术干货集:各大平台串口调试软件大赏(2)
|
存储 运维 网络协议
ISCSI详解(二)——ISCSI基础知识
ISCSI详解(二)——ISCSI基础知识
287 4
|
4月前
|
JSON 供应链 API
1688 电商 API 接口,供应商信息查询便捷通道
1688电商API接口为企业提供高效查询供应商信息的解决方案,支持自动化获取公司名称、联系方式、信用评级等核心数据,并具备批量处理与精准筛选功能,提升供应链管理效率。
218 1
|
安全 前端开发 Windows
EACCES: permission denied,mkdir … npm install 安装依赖问题解决
可是我们看到上面的提示发现,报的是permission denied,这就很奇怪,为什么我是root用户了,还会没有权限呢?
EACCES: permission denied,mkdir … npm install 安装依赖问题解决
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
模型训练数据-MinerU一款Pdf转Markdown软件
MinerU是由上海人工智能实验室OpenDataLab团队开发的开源智能数据提取工具,专长于复杂PDF文档的高效解析与提取。它能够将含有图片、公式、表格等多模态内容的PDF文档转化为Markdown格式,同时支持从网页和电子书中提取内容,显著提升了AI语料准备的效率。MinerU具备高精度的PDF模型解析工具链,能自动识别乱码,保留文档结构,并将公式转换为LaTeX格式,广泛适用于学术、财务、法律等领域。
1469 4
|
人工智能 物联网 数据挖掘
奇思妙想之旅:探索AI在智能家居中的应用
随着人工智能技术的不断发展,智能家居已经成为了我们生活中不可或缺的一部分。在这个奇思妙想之旅中,我们将一起探索AI在智能家居领域的应用,以及如何通过AI技术提升家居生活的品质。
852 2
|
传感器 存储
基于STM32与FreeRTOS的四轴机械臂项目-1
基于STM32与FreeRTOS的四轴机械臂项目
基于STM32与FreeRTOS的四轴机械臂项目-1
|
存储 自然语言处理 Python
Python中文词汇与英文词频统计
本文介绍了如何使用Python进行英文和中文词频统计。对于英文,借助内置库按空格分隔单词并处理特殊字符;对于中文,需安装jieba分词库。代码实现中,通过读取文件、分词、统计词频并输出到文件。运行时,通过命令行提供文本和结果文件路径。此技能在学术研究、语言分析和文本挖掘领域颇有价值。
Python中文词汇与英文词频统计
|
存储 人工智能 缓存
未来高速缓存战场:SOT-MRAM与SRAM的角逐
未来高速缓存战场:SOT-MRAM与SRAM的角逐
631 8