NVMe 盘故障排查 5 步速查

简介: 通过系统日志、NVMe健康状态、错误日志及Pangu集群摘要等多维度诊断NVMe盘故障,判断是否持续报错、介质损坏或文件系统异常,结合硬件与集群状态精准定位问题,指导及时换盘或观察处理。

🔍 1. 先看系统日志:确认错误是否持续

dmesg | grep nvme9n1 | tail -50

看是否 持续报错(比如每几秒一次 I/O error)。

如果只有 一两次,可能是偶发,不一定真坏。

如果 每隔几秒就蹦出 I/O error → 盘基本正在恶化,必须马上换。

如果 只有孤零零的一两条 → 可能是链路瞬断或机房抖动,先别急着拆盘,继续往下验证。

🔍 2. 用 NVMe 工具查健康状态

sudo smartctl -a /dev/nvme9n1

字段

正常值

说明

Critical Warning

0x00

非 0 就报警

Media and Data Integrity Errors

0

非 0 → 盘已出现不可修复错误

Error Information Log Entries

不增长

持续增加 → 盘正在恶化

Percentage Used

< 100%

≥ 100% → 盘寿命已尽

🔍 3. 查看 NVMe 错误日志

sudo nvme error-log /dev/nvme9n1

看是否有 大量报错,错误条数 >100 或 每次查询都在涨 → 盘片/固件/链路至少有一个在持续出错,建议直接踢盘。

错误条数 个位数且长期不变 → 可再观察一轮,结合业务压力决定是否换。

🔍 4.  Pangu 集群整体健康

/apsara/deploy/puadmin summ

/apsara/deploy/puadmin summ(= summary)只能看整体,看不出哪块盘坏,但能快速告诉你“有没有必要继续挖”。

关键栏

数值

含义

Abnormal Chunks

2

只有 2 个 chunk 副本数不足 → 风险极低

DISK_OK

252 / 252

所有磁盘状态正常,没有盘被标 fault

summary 层面看不到设备级细节,无法直接确认 nvme9n1 是否涉及那 2 个异常 chunk。

但 252 块盘全部 DISK_OK,说明 Pangu 还没把 nvme9n1 标记为故障。

Abnormal Chunks 只有 2 个且 副本数并未归零 → 全局数据安全,今晚可以睡个好觉。

DISK_OK 252/252 → 说明 Pangu 还没把这块盘标成 FAULT,但注意:底层硬件报错可能早于集群感知 6~12 小时,所以不能单看这一条就“高枕无忧”。

🔍 5. 检查文件系统是否只读或掉盘

lsblk | grep nvme9n1
mount | grep nvme9n1

如果盘已掉线(lsblk 看不到),或文件系统变只读,说明盘已不可恢复。

lsblk 里消失 → 内核已失联,盘大概率掉线,不用再犹豫了,直接走换盘流程。

mount 状态出现 ro, (read-only) → 内核主动保护,说明 FS 层已不信任该盘,业务写入会挂,必须立即隔离。

目录
相关文章
百度搜索:蓝易云【ipmitool配置BMC的ip】
以上操作将配置BMC的IP地址为新的值。请注意,操作BMC需要谨慎,确保你对服务器有足够的权限,并且仔细检查新的IP地址、子网掩码和默认网关,以免导致服务器网络失联。
701 7
|
12月前
Snipaste 截图工具安装使用教程:桌面 "贴" 图神器,高效截图不费力
Snipaste 不只是截图工具,更是让截图“活”起来的效率神器!支持快速截图(F1)、贴图置顶(F3)、缩放旋转、透明穿透等灵活操作,还可将文字颜色转为图片窗口。轻巧强大,提升办公效率必备!
1808 8
Snipaste 截图工具安装使用教程:桌面 "贴" 图神器,高效截图不费力
|
存储 缓存 Oracle
Oracle JDBC 驱动程序
开始使用 Oracle JDBC 驱动程序 (Doc ID 1602866.1
3274 0
|
10月前
|
弹性计算 网络协议 数据挖掘
阿里云服务器ECS使用抓包工具进行网络数据包抓取(图文教程)
本文介绍2026年阿里云ECS服务器使用抓包工具排查网络异常的方法,涵盖Linux下tcpdump和Windows下Wireshark的安装、配置与抓包操作步骤,并提供具体命令示例及数据分析流程,助力高效定位丢包、延迟等问题。
|
监控 安全 Linux
什么是基线扫描?
基线扫描(Baseline Scanning)是信息安全领域中的一项基础工作,指的是将一台服务器(本文特指Linux物理机)当作体检对象,逐条对照预先定义好的"最低安全要求"进行核查,发现不符合项并给出修复建议的全过程。这些"最低安全要求"通常以政府法规、行业标准或国际规范的形式发布,如国内的等级保护2.0、关基、关保,以及国际的CIS Benchmark、NIST 800-53、DISA STIG等。基线扫描的核心目的在于"提前发现配置隐患、满足合规要求、降低安全事故概率"。 与漏洞扫描关注"代码缺陷"不同,基线扫描更关注"配置错误"。漏洞扫描侧重发现软件中存在的可被利用的漏洞(CVE、P
908 2
|
8月前
|
人工智能 Prometheus Cloud Native
Oh My OpenCode实战指南:打造你的AgentTeam
《Oh My OpenCode实战指南》介绍多模型智能体编排系统,将AI助手升级为协作开发团队。支持Claude/GPT/Gemini等多模型灵活调度,通过规划层(Prometheus)、执行层(Atlas)与工作者层(Hephaestus等)三层架构,实现意图识别、并行任务委派与知识沉淀。强调“类别优先于模型名”,打破厂商锁定,提升开发效率与可靠性。(239字)
5674 5
|
中间件 Linux vr&ar
Centos7升级Glibc
Centos7升级Glibc
2860 6
|
Ubuntu Unix Linux
在Windows上轻松安装和使用Ubuntu的方法详解
继续点击“Continue”按钮以继续安装流程,随后选择清理磁盘并安装操作系统的选项。 接下来,在安装过程中,你需要选择时区。为了与你的地理位置相匹配,请选择中国上海作为你的时区设置。 在安装过程中,你还需要设置计算机的名称以及账号密码。请务必牢记这些信息,因为它们将作为你登录系统的凭证。
|
Oracle 关系型数据库 MySQL
MySQL包安装 -- RHEL系列(离线RPM包安装MySQL)
本文详细介绍在Rocky、CentOS、AlmaLinux、openEuler等主流Linux系统上,通过离线RPM包安装MySQL 8.0和8.4版本的完整步骤,涵盖下载、依赖处理、rpm/yum安装、服务启动、密码设置等关键环节,适用于多种企业级环境部署需求。
3846 0
MySQL包安装 -- RHEL系列(离线RPM包安装MySQL)
|
11月前
|
人工智能 JavaScript 安全
使用Cursor自动生成完整函数的指南
本文分享了如何利用Cursor的AI功能快速生成可用的函数代码。以提取Markdown图片链接为例,通过分步描述需求、迭代优化并生成测试用例,演示了从简单实现到生产级代码的完整流程。文章总结了分步细化需求、明确输入输出及生成测试等最佳实践,并提醒仍需人工审查以确保代码安全与业务逻辑正确。