狗血记之RAC数据库SQLPLUS启库

简介:
20160106093724314.jpg


目录

  • 问题解决过程

  • 反思总结


1问题解决过程

 


ORACLE的RAC数据库集群现在已经被广泛应用,最近在数据集市项目中将原来AIX平台10G单节点数据库迁移升级至X86平台11R2RAC集群数据库,为了保证数据库的高可用性和可扩展性,采用了RAC的GRID大集群和数据库小集群方式(例如本次问题的环境是4节点ASM集群支撑2套2节点RAC数据库,每个实例1台主机)。部署好第一套2节点RAC数据库之后,因项目进展的需要,再添加2节点给另一个地市使用。在将GRID和DB集群软件、数据库都创建完成之后,同事告诉我新添加的2节点RAC数据库不能用SQLPLUS正常启动,必须使用集群命令启动。凭着以往的经验,RAC节点的数据库无论是用SQLPLUS还是集群命令都必须可以在任意节点进行任意顺序启动,不需要按照特定的顺序启动。


现在这套RAC节点数据库还在安装阶段,还没有投入使用,因此可以进行各种各样的操作和测试。接到这个问题请求之后,首先进行测试,按照同事的说法,先启动1节点,后启动2节点,数据库可以使用SQLPLUS正常启动;先启动2节点,后启动1节点,发现2节点可以正常启动,1节点连NOMOUNT状态都未能进入,就报错退出。退出之后,就查看数据库的ALERT日志,发现在退出前报错集群无法进行通信。


20160330055024876.jpg


根据报错信息分析,是由于集群间无法通信,导致数据库无法启动,那么根据这一点提示信息就拼命的从集群通信方面入手。因为这2个节点是后期采用添加节点的方式添加进去,第一怀疑是不是添加节点加出了问题,反复询问同事,明确回复我在添加节点时无任何的报错信息。那么就只能从使用集群命令对整个集群进行检查。使用了crsctl status resource –t ,crsctl check cluster –all,oifcfg,olsnodes,srvctl等命令进行检查,检查的结果都无异议,从中未能发现一点蛛丝马迹。


20160330055032194.jpg

20160330055040782.jpg

20160330055049258.jpg


再仔细对1节点的数据库ALERT日志向上查看,发现有打印私网通信地址为169.254.183.196,立即查看数据库的私网通信地址发现是192.168.110.12。此时就有一个疑问,数据库ALERT日志中打印的私网IP地址与规划的私网IP不一致。这个时候只好外事不决问百度,问了百度之后发现是ORACLE在11.2.0.2.0之后添加的新特性HAIP。


20160330055221538.jpg


又因为项目赶进度,所以在内部进行商讨,看看有无遇到相似或相同的案例,结果听同事说过,他们遇到过,也是相同的问题,但没有找到根本原因。后续申请协调各种资源进行分析 ,终于有了进一步的发现。发现在2节点使用SQLPLUS启库时,ALERT日志中打印的集群IP有问题,集群间通信应该使用私网,怎么使用SQPLUS启库打印为公网IP,这点就特别疑惑了。


20160330055232743.jpg


172.31.0.116这个IP在此套RAC数据库中定义为公网IP,那么这个问题就初步归结为2节点使用SQLPLUS启库会使用公网IP作为集群的通信网络。又再次对集群的公网、私网等网络进行核查和分析,并协调网络厂家、操作系统厂家进行核查,都没有发现问题。


到这里之后,几乎是山穷水尽,问题依然存在。再次百度,得到的答案是由于HAIP异常引起。于是分别独立启动单节点库,查看其对就的HAIP,发现1节点为169.254.183.196,2节点为172.31.0.116。


20160330055240457.jpg


再次对2个节点的数据库ALERT日志进行对比,发现其中存在一些不同的报错信息。1节点独立启库,能够正常获取公网、私网的IP信息。2节点则提示GPNP异常,未能获取正常的私网、公网信息。后续紧接着查看GPNP的日志,发现GPNP在正常工作,未有任何的报错信息。


20160330055248454.jpg

20160330055257377.jpg

20160330055305460.jpg

20160330055316119.jpg


于是到这里,突然灵光一闪,是不是可以用TRACE的方法跟踪启动过程,能否从TRACE中分析出2节点为什么使用公网IP做为集群通信。由于是启库,只能重新启动2节点至NOMOUNT状态,然后创建PFILE,在PFILE中添加10046事件,然后使用PFILE启动数据库至NOMOUNT状态。然后到TRACE目录中去查看TRACE文件。对TRACE文件打开分析,发现TRACE文件中提示GPNP中某个文件无法访问。


20160330055324285.jpg


使用LS命令对文件进行查看,发现的确不存该文件,再仔细一看路径,这个路径不是GRID集群的安装路径。


20160330055330880.jpg


仔细一看这个目录,再结合操作系统为SUSE LINUX 11 SP2,初步确定为ORACLE用户的环境变量问题。如果对2个节点ORACLE的环境变量进行对比,果然不同,2节点多了2行。


20160330055338731.jpg


看到2节点多出来的2个环境变更ORA_CRS_HOME、ORA_ASM_HOME,立即找到SUSE LINUX为ORACLE特意准备的环境变量文件/etc/profile.d/oracle.sh,立即将这个文件重命名,然后退出会话,重新登陆,环境变量消失。于是使用2个会话窗口,1个查看数据库ALERT日志,另1个使用SQLPLUS启库,ALERT日志中显示数据库正常能够获取私网、公网的IP网络,而且HAIP也是使用169网段的。待2节点使用SQLPLUS启库完成之后,再在1节点使用SQLPLUS启库,一切正常。然后再核查其他3个节点的/etc/profile.d/oracle.sh发现该文件要么被删除、要么被重命名。


2反思总结

 


至此为止,经过不断的折腾,这个问题终于被解决,但是回想整个解决过程,其实很冗长,也走了很多的弯路。


  1. 检查数据库ALERT日志,只检查出问题节点,没有立即检查未出问题节点。

     

  2. 未对操作系统及其对应的环境变量熟悉,其实/etc/profile.d/oracle.sh是SUSE专门为ORACLE定制的环境变量,加上这是第1次使用SUSE安装ORACLE数据库,经验不足,也是其一。

     

  3. 其实也曾想过是不是配置有问题,引起此次问题。在其中曾让当初部署的同事按照ORACLE的官方文档对操作系统配置进行一遍彻底的核查。但也未能核查出隐藏在/etc/profile.d/oracle.sh这个环境变量文件。这也正是SUSE为ORACLE定制的特色。

 

作者介绍:夏海雁

 

  • 新炬网络公司高级技术专家,7年Oracle数据库、TimesTen内存数据库运维管理经验。

  • 精通Oracle 10g、11g数据库管理和Linux/Unix系统管理。

  • 擅长进行数据库及集群的故障诊断与系统优化,并持续专注于故障诊断技术的研究与实践。


本文来自云栖社区合作伙伴"DBAplus",原文发布时间:2016-01-06

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
7天前
|
SQL 数据处理 数据库
实时计算 Flink版产品使用合集之同步数据库时,库名称变了,route只能到表级别,怎么解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
15天前
|
SQL 存储 数据库
OceanBase数据库常见问题之4.2.2写库过程中总是出现transaction is killed如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
15天前
|
SQL 数据库 OceanBase
OceanBase数据库的主备库参照的配置文件
【2月更文挑战第27天】OceanBase数据库的主备库参照的配置文件
58 4
|
6月前
|
Oracle 关系型数据库 Linux
解决在linux服务器上部署定时自动查找cpu,内存,磁盘使用量,并将查询结果写入数据库的脚本,只能手动运行实现插库操作
问题描述:将脚本名命名为mortior.sh(以下简称mo),手动执行脚本后查询数据库,表中有相应的信息,放入自动执行队列中,脚本被执行,但是查询数据库,并没有新增数据。
48 0
|
7天前
|
关系型数据库 数据处理 数据库
实时计算 Flink版产品使用合集之支持哪些数据库的整库同步
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
9天前
|
JavaScript Java 关系型数据库
大学生在线考试|基于SprinBoot+vue的在线试题库系统系统(源码+数据库+文档)
大学生在线考试|基于SprinBoot+vue的在线试题库系统系统(源码+数据库+文档)
18 0
|
9天前
|
安全 Java API
MilvusPlus向量数据库增强操作库
MilvusPlus 是一个针对 Milvus 向量数据库的增强操作库,提供无侵入、损耗小的 API,简化 Milvus 交互。特性包括:注解配置、直观 API、Lambda 支持、主键自动生成及全局通用操作。支持 Spring 和 Solon 应用,通过配置文件管理数据库连接。应用场景如相似性搜索、推荐系统等。CRUD 模块提供类型安全的接口,IAMService 接口模块实现身份管理和权限控制。条件构造器简化查询条件构建。项目提供多种索引和度量类型。示例代码展示了如何使用 MilvusPlus 进行向量搜索操作。
128 1
|
15天前
|
SQL Java 数据库连接
JDBC Java标准库提供的一些api(类+方法) 统一各种数据库提供的api
JDBC Java标准库提供的一些api(类+方法) 统一各种数据库提供的api
14 0
|
15天前
|
存储 SQL 数据库
数据库库表结构设计:原理、实例与最佳实践
数据库库表结构设计:原理、实例与最佳实践
209 0
|
15天前
|
数据可视化 Java 测试技术
基于SpringBoot的精品在线试题库系统(系统+数据库+文档)
基于SpringBoot的精品在线试题库系统(系统+数据库+文档)