12月份,上地机房进行电源割接,不少光线交换机重启,业务系统、数据库主机也进行了重启,但是由于设备重启顺序不同导致一内容拨测系统数据库出现了异常。
出问题的数据库所在主机是IBM的AIX 6100,数据库版本是11.2.0.4,采用的是HA双机软件管理的热备双机,数据库安排的有exp定时计划任务。
出现的问题是:数据库exp定时备份计划任务出现告警,
处理过程:
使用ps -ef|grep exp发现后台有3个exp相关的.sh备份进程挂起;
查看备份目录发现有3天前的备份文件和备份日志,但是备份文件是4096字节,而备份日志是0字节;
首先杀死3个相关的exp备份进程,删除失败的备份日志和备份文件,重新发起exp备份,发现备份卡在登录sqlplus 2个小时候自动断开,而备份文件还是4096字节,备份日志是0字节;
从服务器端登录sqlplus,select username from dba_users;能查询到数据库相关用户,select file_name,tablespace_name from dba_data_files;却一直卡主没有输出结果;
退出sqlplus切换到root用户lsvg能输出相关vg信息,lsvg -p rootvg显示rootvg相关的2个pv卷信息,但是lsvg -p vg_oravg却是卡主没有输出;
经AIX主机工程师查看并与系统管理员沟通判断是电源切割引起光交链路发生改变,而AIX主机不识别链路导致的;
尝试使用root 通过smit hacmp将服务切换到备机解决链路不识别问题,发现HA切换失败;
接下来重启HA相关的2个主机,重启完成后lsvg -p vg_oravg有正常输出,登录数据库查询数据文件正常,重新发起exp备份4分钟完成;
到此故障解决。
出问题的数据库所在主机是IBM的AIX 6100,数据库版本是11.2.0.4,采用的是HA双机软件管理的热备双机,数据库安排的有exp定时计划任务。
出现的问题是:数据库exp定时备份计划任务出现告警,
处理过程:
使用ps -ef|grep exp发现后台有3个exp相关的.sh备份进程挂起;
查看备份目录发现有3天前的备份文件和备份日志,但是备份文件是4096字节,而备份日志是0字节;
首先杀死3个相关的exp备份进程,删除失败的备份日志和备份文件,重新发起exp备份,发现备份卡在登录sqlplus 2个小时候自动断开,而备份文件还是4096字节,备份日志是0字节;
从服务器端登录sqlplus,select username from dba_users;能查询到数据库相关用户,select file_name,tablespace_name from dba_data_files;却一直卡主没有输出结果;
退出sqlplus切换到root用户lsvg能输出相关vg信息,lsvg -p rootvg显示rootvg相关的2个pv卷信息,但是lsvg -p vg_oravg却是卡主没有输出;
经AIX主机工程师查看并与系统管理员沟通判断是电源切割引起光交链路发生改变,而AIX主机不识别链路导致的;
尝试使用root 通过smit hacmp将服务切换到备机解决链路不识别问题,发现HA切换失败;
接下来重启HA相关的2个主机,重启完成后lsvg -p vg_oravg有正常输出,登录数据库查询数据文件正常,重新发起exp备份4分钟完成;
到此故障解决。