IBM x3850 RAID5数据恢复方案及过程

简介:

第一部分:数据恢复方案

【用户单位】   某医药公司

【故障描述】

    IBM X3850服务器,5块73G SAS硬盘,其中4块组成一个RAID5,另一块做为热备盘(Hot-Spare),3号盘早已经离线,但热备盘未自动激活rebuild(原因不明),之后2号盘离线,RAID崩溃。

    操作系统为linux redhat 5.3,应用系统为构架于oracle的一个oa,数据重要,时间很急。因oracle已经不再对本oa系统提供后续支持,用户要求尽可能数据恢复+操作系统复原。

【初检结论】

    热备盘完全无启用,硬盘无明显物理故障,无明显同步表现。数据通常可恢复

【恢复方案】

    1、保护原环境,关闭服务器,确保在恢复过程中不再开启服务器。

    2、将故障硬盘标好序号,确保在拿出槽位后可以完全复原。

    3、将故障硬盘挂载至只读环境,对所有故障硬盘做完全镜像(参考<如何对磁盘做完整的全盘镜像备份>)。备份完成后交回原故障盘,之后的恢复操作直到数据确认无误前不再涉及原故障盘。

    4、对备份盘进行RAID结构分析,得到其原来的RAID级别,条带规则,条带大小,校验方向,META区域等。

    5、根据得到的RAID信息搭建一组虚拟的RAID5环境。

    6、进行虚拟磁盘及文件系统解释。

    7、检测虚拟结构是否正确,如不正确,重复4-7过程。

    8、确定数据无误后,按用户要求回迁数据。如果仍然使用原盘,需确定已经完全对原盘做过备份后,重建RAID,再做回迁。回迁操作系统时,可以使用linux livecd或win pe(通常不支持)等进行,也可以在故障服务器上用另外硬盘安装一个回迁用的操作系统,再进行扇区级别的回迁。

    9、数据移交后,由北亚数据恢复中心延长保管数据3天,以避免可能忽略的纰漏。

【恢复周期】

    备份时间,约2小时。

    解释及导出数据时间,约4小时。

    回迁操作系统,约4小时。

【恢复费用】

    略。。。

 

第二部分:数据恢复及系统复原过程

    1、对原硬盘进行完整镜像,镜像后发现2号盘有10-20个坏扇区,其余磁盘,均无坏道。

    2、分析结构:得到的最佳结构为0,1,2,3盘序,缺3号盘,块大小512扇区,backward parity(Adaptec),结构如下图:

捕获43

    3、组好后数据验证,200M以上的最新压缩包解压无报错,确定结构正确。

    4、直接按此结构生成虚拟RAID到一块单硬盘上,打开文件系统无明显报错。

    5、确定备份包安全的情况下,经客户同意后,对原盘重建RAID,重建时已经用全新硬盘更换损坏的2号盘。将恢复好的单盘用USB方式接入故障服务器,再用linux SystemRescueCd启动故障服务器,之后通过dd命令进行全盘回写。

    6、回写后,启动操作系统。正常情况下,这时候所有工作应该完成了。不巧的是,因帮颇费周折才解决,特意另起一段叙述。

 

系统复原过程:

    dd所有数据后,启动操作系统,无法进入,报错信息为:/etc/rc.d/rc.sysinit:Line 1:/sbin/pidof:Permission denied

    怀疑此文件权限有问题,用SystemRescueCd重启后检查,此文件时间,权限,大小均有明显错误,显然节点损坏。

    重新分析重组数据中的根分区,定位出错的/sbin/pidof,发现问题因2号盘坏道引起。

    使用0,1,3这3块盘,针对2号盘的损坏区域进行xor补齐。补齐后重新校验文件系统,依然有错误,再次检查inode表,发现2号盘损坏区域有部分节点表现为(图中的55 55 55部分):

 捕获2

    很明显,虽然节点中描述的uid还正常存在,但属性,大小,以最初的分配块全部是错误的。按照所有可能进行分析,确定无任何办法找回此损坏节点。只能希望修复此节点,或复制一个相同的文件过来。

    对所有可能有错的文件,均通过日志确定原节点块的节点信息,再做修正。

    修正后重新dd根分区,执行fsck -fn /dev/sda5,进行检测,依然有报错,如下图:

捕获3

    根据提示,在系统中发现有多个节点共用同样的数据块。按此提示进行底层分析,发现,因3号盘早掉线,帮存在节点信息的新旧交集。

    按节点所属的文件进行区别,清除错误节点后,再次执行fsck -fn /dev/sda5,依然有报错信息,但已经很少。根据提示,发现这些节点多位于doc目录下,不影响系统启动,于是直接fsck -fy /dev/sda5强行修复。

    修复后,重启系统,成功进入桌面。

    启动数据库服务,启动应用软件,一切正常,无报错。

    到此,数据恢复及系统回迁工作完成。





本文转自 张宇 51CTO博客,原文链接:http://blog.51cto.com/zhangyu/1190215,如需转载请自行联系原作者
目录
相关文章
|
7月前
|
存储 算法 数据挖掘
服务器数据恢复—昆腾存储StorNext文件系统数据恢复案例
服务器数据恢复环境: 昆腾某型号存储,8个存放数据的存储柜+1个存放元数据的存储柜。 元数据存储:8组RAID1阵列+1组RAID10阵列+4个全局热备硬盘。 数据存储:32组RAID5阵列,划分2个存储系统。 服务器故障: 数据存储的1个存储系统中的一组RAID5阵列中有2块硬盘先后出现故障离线,导致该RAID5阵列失效,整个存储系统崩溃不可用。
服务器数据恢复—昆腾存储StorNext文件系统数据恢复案例
|
7月前
|
存储 算法 数据挖掘
服务器数据恢复-昆腾存储StorNext文件系统数据恢复案例
昆腾某型号存储,StorNext文件存储系统。 共有9个分别配置了24块磁盘的磁盘柜,其中8个磁盘柜存放普通数据,1个磁盘柜存放元数据。 存放元数据的磁盘柜中的24块磁盘组建了8组RAID1阵列和1组4盘RAID10阵列,还有4个全局热备硬盘。 存放普通数据的磁盘柜中的192块磁盘共组建了32组6盘RAID5阵列,32组RAID5阵列分为2个存储系统。
服务器数据恢复-昆腾存储StorNext文件系统数据恢复案例
|
2月前
|
存储
服务器数据恢复—EMC存储RAID5阵列崩溃的数据恢复案例
服务器数据恢复环境: 一台EMC某型号存储设备,该存储中有一组由12块(包括2块热备盘)STAT硬盘组建的raid5阵列。 服务器故障: 该存储在运行过程中突然崩溃,raid瘫痪。数据恢复工程师到达现场对故障存储设备进行初检,发现raid中有两块硬盘掉线但只有一块热备盘成功激活,所以导致阵列瘫痪,上层lun无法使用。
|
2月前
|
存储 数据挖掘 索引
NetApp数据恢复—NetApp存储中RAID数据恢复案例
NetApp某型号存储,WAFL文件系统。 工作人员误操作将该NetApp存储中的重要数据删除。
|
4月前
|
存储 内存技术
【RAID磁盘阵列服务器数据恢复】华为OceanStor Dorado存储系统RAID-TP数据丢失数据恢复案例
客户报告其华为OceanStor Dorado存储系统的RAID-TP出现故障,导致数据丢失。RAID-TP是一种增强型RAID级别,包含数据磁盘、校验磁盘和转换磁盘,可在两个磁盘故障时仍保护数据。通过分析RAID结构与工作原理,我们制定了恢复方案:首先从校验磁盘读取信息并计算出丢失的数据块,接着将恢复的数据写入新磁盘。由于缺乏现成工具,需定制RAID重组程序以恢复数据。华为的动态RAID重构技术保证了重构过程中冗余级别的稳定。
62 1
|
5月前
|
存储 运维 数据挖掘
服务器数据恢复—EMC存储raid5阵列故障导致存储瘫痪的数据恢复案例
服务器存储数据恢复环境: 北京某企业一台EMC FCAX-4存储上搭建一组由12块成员盘的raid5磁盘阵列,其中包括2块热备盘。 服务器存储故障: raid5阵列中两块硬盘离线,热备盘只有一块成功激活,raid瘫痪,上层LUN无法使用,存储崩溃。
|
7月前
|
数据挖掘 虚拟化 芯片
服务器数据恢复—某品牌P2000服务器raid5阵列数据恢复案例
服务器数据恢复环境: 某品牌P2000服务器,有一组由数块硬盘组建的raid5磁盘阵列(有热备盘),部署了VMWARE ESX虚拟化平台,VMFS文件系统。 服务器故障: 服务器在正常运行中,raid5阵列有两块硬盘亮黄色故障灯。经用户方工作人员初步检测,亮黄色故障灯的硬盘出现物理故障,故障表现为:序列号无法读取,通过SAS扩展卡无法识别硬盘。
服务器数据恢复—某品牌P2000服务器raid5阵列数据恢复案例
|
6月前
|
存储 数据挖掘
服务器数据恢复—EMC存储raid5磁盘阵列崩溃的数据恢复案例
一台EMC某型号存储由于存储中raid5阵列出现故障导致服务器崩溃,由于数据涉密,需要工程师到现场恢复数据。 服务器数据恢复工程师到现场后对数据进行检测,经过检测发现服务器崩溃是由于raid中某些硬盘掉线所导致。将所有磁盘编号后取出,硬件工程师对所有磁盘进行检测后没有发现有硬盘存在物理故障,也没有坏道。数据恢复工程师将所有磁盘以只读方式做扇区级的全盘镜像,镜像完成后将所有磁盘还原到原存储中,后续的数据分析和数据恢复操作都基于镜像文件进行,避免对原始磁盘数据造成二次破坏。
服务器数据恢复—EMC存储raid5磁盘阵列崩溃的数据恢复案例
|
6月前
|
存储 运维 Oracle
服务器数据恢复—MSA2000存储中raid5磁盘阵列数据恢复案例
服务器存储数据恢复环境: 某品牌MSA2000服务器存储中有一组由8块SAS硬盘组建的raid5磁盘阵列,其中包含一块热备盘。分配了6个LUN,均分配给HP-Unix小机使用。磁盘分区由LVM进行管理,存放的数据主要为Oracle数据库及OA服务端。 服务器存储故障: 服务器存储raid5阵列中有两块硬盘先后离线,服务器瘫痪,无法正常访问lun。
服务器数据恢复—MSA2000存储中raid5磁盘阵列数据恢复案例
|
7月前
|
存储 安全 数据安全/隐私保护
服务器数据恢复—服务器raid常见故障&解决方案
RAID(磁盘阵列)是一种将多块物理硬盘整合成一个虚拟存储的技术,raid模块相当于一个存储管理的中间层,上层接收并执行操作系统及文件系统的数据读写指令,下层管理数据在各个物理硬盘上的存储及读写。相对于单独的物理硬盘,raid可以为用户提供更大的独立存储空间,更快的读写速度,更高的数据存储安全及更方便的统一管理模式。磁盘阵列是否能正常运转是保障服务器中数据正常读写的关键。