Oracle RAC Study之--10gR2 RAC环境中在线添加、删除Votedisk和在线替换OCR的探讨

      这里我们不讨论11gR2 RAC在线添加、删除Votedisk和OCR，在11gR2平台可以非常容易的实现。这里也不讨论Votedisk和OCR的还原，还原操作必须在停止Clusterware的情况下完成。下面以实际的例子讨论10gR2 RAC for Linux环境下，Votedisk和OCR的在线添加和删除。
一.Votedisk的在线添加和删除。
1).查看集群资源的状态：

[root@rhel1 bin]# ./crs_stat -t

2).查看当前votedisk位置及文件名：
[root@rhel1 bin]# ./crsctl query css votedisk

3).查看ocssd进程号：

[root@rhel1 bin]# ps -e | grep -i ocssd

 5942 ?        00:00:21 ocssd.bin

4).查看ocssd进程定位的votedisk文件：
[root@rhel1 bin]# cd /proc/5942/fd/

    文件说明当前ocssd定位的votedisk文件。分别是vdisk1、vdisk2和vdisk3。 

5).在线添加Votedisk文件：
[root@rhel1 fd]# cd -

        执行上面的命令在线添加了3个votedisk文件到不同的ocfs2文件系统上，这样做的目的是为了实现存储设备的在线迁移。

6).查看当前的votedisk路径及文件名：
[root@rhel1 bin]# ./crsctl query css votedisk

located 6 votedisk(s).
从上面的输出结果可以看出，3个votedisk文件添加是成功的。

7).查看ocssd进程定位的votedisk文件：

[root@rhel1 bin]# cd /proc/5942/fd/

        从上面的输出可以看出，ocssd进程定位的votedisk文件并未发生变化，可以猜测，ocssd对votedisk的更新也不会同步到新 添加的3个votedisk文件中，那么在长时间的运行之后，重启服务器时新添加的votedisk过旧。

8).在线删除votedisk文件：
[root@rhel1 fd]# cd -

9).查看删除votedisk后的votedisk路径及文件名：
[root@rhel1 bin]# ./crsctl query css votedisk

[root@rhel1 bin]# cd /proc/5942/fd/

定位未发生任何变化。

下面我们来尝试重启Clusterware，看会发生什么情况。

11).停止Clustereware：
[root@rhel1 fd]# cd -

/u01/app/oracle/crs/bin

[root@rhel1 bin]# ./crsctl stop crs

在所有RAC节点停止Clusterware。

12).启动Clusterware：

只在一个节点启动Clusterware。

13).查看CRS组件的状态及votedisk文件：
[root@rhel1 bin]# ./crsctl check crs

[root@rhel1 bin]# ./crsctl query css votedisk

         可以发现，votedisk只有vdisk6显示正常，至少可以说明这种情况是不正常的，可以大胆猜想是由于在线增加votedisk引起的问题。

14).查看ocssd进程定位的votedisk文件：
[root@rhel1 bin]# ps -e | grep -i ocssd

 9386 ?        00:00:04 ocssd.bin

[root@rhel1 bin]# cd /proc/9386/fd/

从上面的结果可以看出，ocssd进程只定位了vdisk6这一个文件。

15).停止所有节点的Clusterware：
[root@rhel1 fd]# cd -

16).手动删除没有使用的vdisk4和vdisk5：
[root@rhel1 bin]# cd /u03/vdisk/

17).在Clusterware脱机的情况下添加vdisk4和vdisk5：
[root@rhel1 vdisk]# cd -

17).修改votedisk正确的权限：
[root@rhel1 bin]# cd -

18).启动Clusterware：
[root@rhel1 vdisk]# cd -

19).查看votedisk路径及文件名：

[root@rhel1 bin]# ./crsctl query css votedisk

        可以看出vdisk4和vdisk5被正确添加，vdisk6不见了踪迹，说明10g votedisk在Clusterware的情况下是可以添加的，并且在脱机的情况下添加之后启动ocssd进程会立即定位到这些votedisk文件，所以这并不会导致前面新添加的votedisk未被定位的情况发生。

20).添加vdisk6和清理有问题的votedisk：

       从上面返回的结果可以看出，虽然votedisk的路径和文件都是0，在删除0的时候也不会被全部删除，只会删除其中的一条。

删除 /u03/vdisk/vdisk4的votedisk文件也只删除了其中一条记录。

21).启动Clusterware：

        从上面的例子可以说明一点，在10gR2 RAC 的环境中最好不要在Clusterware在线的情况下添加votedisk，虽然可以成功添加，但在重启Clusterware之后可能出现意想不到的问题。

二.OCR的在线替换（添加和删除）。 

1).检查OCR的完整性：

2).提前将需要创建的ocr文件touch：

        上面添加votedisk的时候并未提前touch votedisk文件，但某些情况下votedisk文件也需要提前touch。

3).替换ocrmirror文件，实际是一个迁移ocr的过程：

        迁移后检查ocr的完整性，没问题。

4).查看ocssd进程定位的ocr文件：

       从上面的结果可以看出，ocssd进程定位的ocr文件还是oc1和ocr2，并未随着ocr的迁移发生改变，和votedisk的效果相同。

5).停止Clusterware：
[root@rhel1 fd]# cd -

6).在Clusterware脱机的情况下迁移ocr文件：

由此可以说明OCR文件不能在脱机的情况下迁移。

7).启动Clusterware：

8).在线替换ocr文件：

        替换成功，OCR文件一致性检查成功。

9).检查ocssd进程定位的ocr文件：

定位文件未发生变化，需要重启才能定位新替换的OCR文件。

10).重启Clusterware：

11).查看ocssd进程定位的ocr文件：

        从上面的OCR替换的例子可以看出，OCR的替换（添加和删除）只能在Clusterware在线的情况下才能执行，最好在替换成功，检查OCR一致性正确之后立即重启Clusterware，使得替换的OCR文件生效。