数据中心有一台服务器闪烁着琥珀色的灯光,这个警告意味着硬盘驱动器有潜在的问题。通常,当一个灯在这里和那里开始闪烁时,人们呼吁更换驱动器,希望热插拔驱动器,并采取一种快乐的方式。但一次经历却大不相同。
在那一天,有两个驱动器在忙碌的时候开始闪烁。并已列入工作人员的待办事项列表好几天了,当另一个IT员工Bob询问是否需要注意这种状况,所以将这个任务交给Bob处理,他要求在第二天交付新硬盘。
几天后,Bob表示硬盘驱动器已经更换,一个已经重建,另一个要花费一段时间恢复。
不祥的预兆
然而不久,一名员工报告说无法访问公司的共享驱动器。技术人员开始研究它,当技术人员与另一个用户接触时,表示也遇到了同样的问题。工作人员开始意识到,所有的迹象都表明这些明显的新问题与最近更换的硬盘驱动器有关。
工作人员远程访问发生问题的服务器,这台服务器托管了五个虚拟服务器。在这一点是公司的心脏和灵魂,也就是企业的主要数据库,被托管在不同的物理服务器上。
当工作人员在远程登录时,看到一个警告,虚拟磁盘不再存在,意识到Bob已交换的两个硬盘驱动器被同时从同一个阵列拔出。服务器在RAID5+0中的原始设置比较早,并没有得到破坏。
更深层次的问题
在初始的拒绝和希望服务器可以正确启动后,工作人员转向备份,据说是设置为通过iSCSI提供NAS。工作人员已经检查了随着时间推移的日志,直到工作成功完成。但是无法验证这一点,因为一些虚拟服务器还包括这家公司的备份软件。
最终,工作人员意识到备份已经消失了。似乎服务器已经复制并存储在与原始虚拟服务器相同的主机上,在这种情况下显然没有什么好处。
工作人员对此感到恐慌,他们希望可以做些什么,以便恢复和运行,至少让用户可以登录(因为域控制器被擦除),并能够访问几个月前迁移到NAS的公司数据。
Bob在报告问题后很快与同事从头开始重建域控制器,Office365控件,打印服务器和许多其他功能。终于能够及时地解决了问题。在接下来的几个星期,工作人员开始恢复在服务器丢失缺少的信息,并最终从虚拟磁盘损坏时创建的大量数据中挖掘出来。
现在是人们重新审视核心IT流程和提醒关键要点的好时机:
- 始终检查备份的物理位置,以验证其是否存在,而不是单独的备份日志。
- 了解企业的RAID阵列以及公司或客户的具体情况,并在进行更改时小心谨慎。
- 执行任务,如在数据灾难发生后,硬盘驱动器交换等。
- 再次检查备份。
- IT工作更加仔细小心,以防万一。
- 不要将所有鸡蛋(或虚拟服务器)放在一个篮子中。
- 为了更好的实施,请再次检查这些备份。