IBM x3850 RAID5数据恢复方案及过程

简介:

第一部分:数据恢复方案

【用户单位】   某医药公司

【故障描述】

    IBM X3850服务器,5块73G SAS硬盘,其中4块组成一个RAID5,另一块做为热备盘(Hot-Spare),3号盘早已经离线,但热备盘未自动激活rebuild(原因不明),之后2号盘离线,RAID崩溃。

    操作系统为linux redhat 5.3,应用系统为构架于oracle的一个oa,数据重要,时间很急。因oracle已经不再对本oa系统提供后续支持,用户要求尽可能数据恢复+操作系统复原。

【初检结论】

    热备盘完全无启用,硬盘无明显物理故障,无明显同步表现。数据通常可恢复

【恢复方案】

    1、保护原环境,关闭服务器,确保在恢复过程中不再开启服务器。

    2、将故障硬盘标好序号,确保在拿出槽位后可以完全复原。

    3、将故障硬盘挂载至只读环境,对所有故障硬盘做完全镜像(参考<如何对磁盘做完整的全盘镜像备份>)。备份完成后交回原故障盘,之后的恢复操作直到数据确认无误前不再涉及原故障盘。

    4、对备份盘进行RAID结构分析,得到其原来的RAID级别,条带规则,条带大小,校验方向,META区域等。

    5、根据得到的RAID信息搭建一组虚拟的RAID5环境。

    6、进行虚拟磁盘及文件系统解释。

    7、检测虚拟结构是否正确,如不正确,重复4-7过程。

    8、确定数据无误后,按用户要求回迁数据。如果仍然使用原盘,需确定已经完全对原盘做过备份后,重建RAID,再做回迁。回迁操作系统时,可以使用linux livecd或win pe(通常不支持)等进行,也可以在故障服务器上用另外硬盘安装一个回迁用的操作系统,再进行扇区级别的回迁。

    9、数据移交后,由北亚数据恢复中心延长保管数据3天,以避免可能忽略的纰漏。

【恢复周期】

    备份时间,约2小时。

    解释及导出数据时间,约4小时。

    回迁操作系统,约4小时。

【恢复费用】

    略。。。

 

第二部分:数据恢复及系统复原过程

    1、对原硬盘进行完整镜像,镜像后发现2号盘有10-20个坏扇区,其余磁盘,均无坏道。

    2、分析结构:得到的最佳结构为0,1,2,3盘序,缺3号盘,块大小512扇区,backward parity(Adaptec),结构如下图:

捕获43

    3、组好后数据验证,200M以上的最新压缩包解压无报错,确定结构正确。

    4、直接按此结构生成虚拟RAID到一块单硬盘上,打开文件系统无明显报错。

    5、确定备份包安全的情况下,经客户同意后,对原盘重建RAID,重建时已经用全新硬盘更换损坏的2号盘。将恢复好的单盘用USB方式接入故障服务器,再用linux SystemRescueCd启动故障服务器,之后通过dd命令进行全盘回写。

    6、回写后,启动操作系统。正常情况下,这时候所有工作应该完成了。不巧的是,因帮颇费周折才解决,特意另起一段叙述。

 

系统复原过程:

    dd所有数据后,启动操作系统,无法进入,报错信息为:/etc/rc.d/rc.sysinit:Line 1:/sbin/pidof:Permission denied

    怀疑此文件权限有问题,用SystemRescueCd重启后检查,此文件时间,权限,大小均有明显错误,显然节点损坏。

    重新分析重组数据中的根分区,定位出错的/sbin/pidof,发现问题因2号盘坏道引起。

    使用0,1,3这3块盘,针对2号盘的损坏区域进行xor补齐。补齐后重新校验文件系统,依然有错误,再次检查inode表,发现2号盘损坏区域有部分节点表现为(图中的55 55 55部分):

 捕获2

    很明显,虽然节点中描述的uid还正常存在,但属性,大小,以最初的分配块全部是错误的。按照所有可能进行分析,确定无任何办法找回此损坏节点。只能希望修复此节点,或复制一个相同的文件过来。

    对所有可能有错的文件,均通过日志确定原节点块的节点信息,再做修正。

    修正后重新dd根分区,执行fsck -fn /dev/sda5,进行检测,依然有报错,如下图:

捕获3

    根据提示,在系统中发现有多个节点共用同样的数据块。按此提示进行底层分析,发现,因3号盘早掉线,帮存在节点信息的新旧交集。

    按节点所属的文件进行区别,清除错误节点后,再次执行fsck -fn /dev/sda5,依然有报错信息,但已经很少。根据提示,发现这些节点多位于doc目录下,不影响系统启动,于是直接fsck -fy /dev/sda5强行修复。

    修复后,重启系统,成功进入桌面。

    启动数据库服务,启动应用软件,一切正常,无报错。

    到此,数据恢复及系统回迁工作完成。










本文转自 张宇 51CTO博客,原文链接:http://blog.51cto.com/zhangyu/1190215,如需转载请自行联系原作者
目录
相关文章
|
5月前
|
存储 运维 数据挖掘
服务器数据恢复—IBM V7000数据恢复案例
服务器存储数据恢复环境: 某品牌P740小型机+AIX+Sybase+V7000磁盘阵列柜,磁盘阵列柜中有12块SAS机械硬盘(其中包括一块热备盘)。 服务器存储故障: 磁盘阵列柜中有一块磁盘出现故障,运维人员用新硬盘替换掉故障盘并开始同步数据。当数据同步的进度不到一半的时候,磁盘阵列柜中另一个磁盘也出现了问题,导致逻辑盘无法挂接在小型机上,业务中断。通过存储的管理界面查看,发现两块硬盘显示故障脱机,其中10号槽位故障硬盘为热备盘。 磁盘阵列柜中一共创建了2组Mdisk,加到一个pool中,现在的故障表现是主要的数据pool无法加载,部分通用卷均无法挂载。
服务器数据恢复—IBM V7000数据恢复案例
|
存储 Linux 数据库
服务器数据恢复—IBM存储raid5多盘损坏导致阵列崩溃的数据恢复案例
服务器数据恢复环境: IBM某型号存储,6块sas硬盘组建一组raid5,划分一个lun分配给Linux服务器并格式化为OCFS2文件系统,共享给虚拟化使用,存放的数据包括24台liunx和windows虚拟机、压缩包文件和配置文件。 服务器故障: raid5阵列中成员盘坏了多块,阵列失效,数据丢失。
服务器数据恢复—IBM存储raid5多盘损坏导致阵列崩溃的数据恢复案例
|
存储 数据挖掘
服务器数据恢复-IBM Storwize V7000存储数据恢复案例
服务器数据恢复环境: P740+AIX+Sybase+V7000存储,存储阵列柜上共12块SAS机械硬盘(其中一块为热备盘)。 服务器故障: 存储阵列柜中有磁盘出现故障,工作人员发现后更换磁盘,新更换的磁盘数据同步到40%左右时,阵列柜中的另一块磁盘也出现问题,数据同步中断,逻辑盘无法挂接到小型机上,业务中断。存储的管理界面显示2块硬盘故障脱机。 阵列柜中的磁盘共组建了2组Mdisk,加到一个pool中。现在主要数据pool无法加载,有3个通用卷无法挂载。
|
开发工具
IBM Watson提供的认知计算服务介绍
IBM Watson提供的认知计算服务介绍
|
传感器 人工智能 自然语言处理
IBM Watson 持续扩张,认知计算正悄然改变我们的生活
在去年 IBM 发布的一则很有创意的广告中,Watson 用 IBM 最新的认知计算机咨询单元与 Bob Dylan 聊了半分钟。Watson 说它每秒能读 8 亿页,并识别出 Dylan 作品中常用的主题,比如时间流逝和爱情消逝。
393 0
|
物联网 区块链 网络架构
带你读《基于区块链的物联网项目开发》之一:了解物联网并在IBM Watson物联网平台上开发
本书首先概述当前业务场景中的物联网概念,帮助读者在IBM Watson物联网平台上开发自己的设备,并使用Watson和Intel Edison创建物联网解决方案。之后介绍如何利用Hyperledger框架开发区块链网络,以及如何创建自己的集成区块链和物联网解决方案。接下来的章节讲述了如何在IBM Cloud平台利用物联网来实现端到端的区块链解决方案。最后,你将掌握如何将物联网和区块链技术融合,利用实践和驱动程序来开发实用集成解决方案。
|
人工智能
IBM Watson被曝给出错误癌症治疗建议,是悲剧还是误会?丨科技云·视角
曾经是公众心目中“人工智能”代名词的IBM Watson,在近4年砸下几百亿美元的研发投入后,前景反而愈发暗淡。医生抱怨Watson给出错误判断,多家医院终止了与Watson肿瘤相关项目,Watson真的能治病吗? 近日,外媒Stat News爆出了IBM的一份内部文件,其中提及Watson计算机经常给出错误的癌症治疗建议,比如给一个已经大出血的癌症病人开了有可能会导致出血的药。
9406 0
|
人工智能
IBM Watson健康部门裁员:花重金收购的医疗科技公司成重灾区
消息人士称,IBM Watson Health正在裁员50%至70%,之前收购的三家医疗科技公司的员工成为这次裁员的重灾区。同时,AI医疗行业数据不完整、隐私等问题,以及巨头之间的竞争,都给IBM Watson Health造成了压力。
1715 0