一、原因分析
1、目前架构分析图：
2、原因分析
由于平台业务网络不稳定，DRBD的心跳指向网关题导，在网络出现问题导致脑裂，出现脑裂有两种结果：
1、共享资源被瓜分、两边“服务”都起不来了；
2、两边“服务”都起来了，但同时读写“共享存储”，导致数据损坏
3、导致脑裂发生的原因
1、高可用服务器之间心跳链路故障，导致无法相互检查心跳
2、高可用服务器上开启了防火墙，阻挡了心跳检测
3、高可用服务器上网卡地址等信息配置不正常，导致发送心跳失败
4、其他服务配置不当等原因，如心跳方式不同，心跳广播冲突，软件BUG等
二、测试目的
通过使用一根专线作为心跳线，是否出现脑裂的两种情况及对服务的影响，改造后的结构图：
三、测试过程
1、停止MS上的心跳线
2、停止heartbeat服务
四、测试现象
1、停止心跳线，资源不发生切换，但外网无法通过VIP访问，内网正常，需要执行arp
2、停止S的上的服务（drbd,heartbeat）资源不切换，不对业务产生影响
3、停止M上的服务，资源正常切换（autofail=off）
4、DB服务停止，通过脚本检测，服务资源切换
5、MS一根心跳线时，S心跳停止恢复后会抢占资源，若可以添加两根直连线，可以避免
五、测试结果
使用专线作为心跳线，网络更加稳定，在写大量的数据时候，通过3层交换传输到对端，避免数据阻塞
六、测试建议
根据目前的平台业务架构，建议添加两根专线做为心跳线，提高网络的健壮性，避免因为心跳导致资源抢占或资源都放弃行为。
七、防止脑裂一些方案
1、加冗余线路
2、检测到裂脑时，强行关闭心跳检测(远程关闭主节点，控制电源的电路fence)
3、做好脑裂的监控报警
本文转自 DBAspace 51CTO博客，原文链接:http://blog.51cto.com/dbaspace/1868844
