DNS 引起经典RAC故障

作者：吴伟龙(PrudentWoo)

一、环境介绍：

这是一套四年前部署的RAC系统，之前运行一直很好，没有出过问题，平时基本处于无人管的状态。

OS:Redhat EnterPrise Linux 5.8 x86_x64

DB:Oracle Database EnterPrise  11.2.0.4

GI:Oracle Grid Infrastructure 11.2.0.4

二、问题描述：

         昨天临近下班接到现场人员故障请求，描述为数据库无法连接，报ORA-12547:TNS: lost  CONNECT。当时第一反应是网络和监听故障，让现场人员进行tnsping和ping都是正常的。

三、问题现象：

         我到达现场后，首先查看了数据库的状态，发现数据库实例是停止运行状态，并且从日志中看不出明显报错；

      数据库日志：

     数据库状态：

四、手工带起数据库：

    日志信息：

五、问题分析：

         我从启动数据库来看，发现数据库此时无法正常启动，并随着报ORA-00132，日志报error 119。

         根据启动提示可以将问题定位到scan，因scan故障引起数据库无法正常启动。

六、检查scan配置信息：

           我们可以看到，现在scan对应的三个地址都是通的，说明SCAN的服务是好的，但是ping scan所对应的域名的时候报无法找到主机，无法解析域名，那么下一步可以定位应该是域名服务出问题了。

七、在两台数据库服务器上检查域名(dns)服务，结果是域名服务器没有在这两台数据服务器上：

八、根据resolv.conf配置找到真正的域名服务器，发现域名域名服务器hang住：

九、修复域名服务器，现在可以正常解析：

十、再次启动数据库：

能正常启动，故障修复。

       从整个问题的处理思路来看该故障不仅考验解决数据库故障能力，同时安装，基本运行原理都有考察到，当然考验更多的应该还是操作系统和DNS服务的深入理解。

      当然我是很庆幸的，出于职业敏感度，一堆报错中瞬间发现问题根源ORA-00132，而没有从其它报错信息入手。