DM8数据守护集群入门介绍

一、概念介绍

DM一共有三种集群模式，今天主要介绍数据守护集群。DM 数据守护（Data Watch）是一种集成的高可用、高性能数据库解决方案，适用于异地容灾。主要有两种配置方案，1是实时主备，2是DMDSC主备。

1、实时主备

实时主备由一个主库和一个或多个配置了实时归档的备库组成，旨在保障数据库的可用性和数据安全性：

• 主库：提供完整数据库功能。
  
• 备库：提供只读服务，通过实时归档机制，主库的 REDO 日志在写入联机日志文件前发送到备库，备库重演 REDO 日志保持数据同步。
  

当主库出现故障时，备库完成 REDO 日志重演后切换为主库提供服务。

2、DMDSC 主备

DMDSC 主备支持集群和单节点之间互为主备库，一般建议将 DMDSC 集群作为主库，单节点作为备库：

• DMDSC 集群为主库：集群控制节点收集所有节点的 REDO 日志并发送到备库，备库按修改顺序重演 REDO 日志。
  
• DMDSC 集群为备库：主库将 REDO 日志发送至集群控制节点，控制节点重演日志保持同步。
  

二、数据守护原理

DM 数据守护 (Data Watch) 的实现原理：

1. 将主库（生产库）产生的 REDO 日志传输到备库，备库接收并重新应用 REDO 日志，从而实现备库与主库的数据同步。DM 数据守护的核心思想是监控数据库状态，获取主、备库数据同步情况，为 REDO 日志传输与重演过程中出现的各种异常情况提供一系列的解决方案。
   

DM 数据守护系统主要由主库、备库、REDO 日志、REDO 日志传输、REDO 日志重演、守护进程 (dmwatcher)、监视器 (dmmonitor) 组成，如下图所示：

主库

Primary 模式，提供完整数据库服务的实例，一般来说主库是用来直接支撑应用系统的生产库。

备库

Standby 模式，提供只读数据库服务的实例。备库除了用于容灾，还可以提供备份、查询等只读功能，并且备库还支持临时表的 Insert/Delete/Update 操作，备库支持临时表修改主要基于以下两个因素：

1、临时表数据的修改不会产生 REDO 日志，主库对临时表的修改无法同步到备库；

2、可以提供更大灵活性，适应更多应用场景。根据数据同步情况，备库又可以分为可切换备库和不可切换备库。可切换备库是指，主备库之间数据完全同步，主库发生故障、备库切换为主库后，不会造成任何数据丢失的备库。

REDO 日志

REDO 日志记录物理数据页内容变动情况，是数据库十分重要的一个功能，在数据库系统故障（比如服务器掉电）重启时，利用 REDO 日志可以把数据恢复到故障前的状态。REDO 日志也是数据守护的实现基础，数据库中 Insert、Delete、Update 等 DML 操作以及 Create TABLE 等 DDL 操作最终都会体现为对某一个或者多个物理数据页的修改，因此备库通过重做 REDO 日志可以与主库数据保持一致。

REDO 日志传输

主备库之间的 REDO 日志传输，以日志包 RLOG_PKG 为单位，主库通过 MAL 系统发送 REDO 日志到备库。各种不同数据守护类型的区别，就在于主库日志包 RLOG_PKG 的发送时机，以及备库收到 REDO 日志后的处理策略。

REDO 日志重演

REDO 日志重演的过程，就是备库收到主库发送的 REDO 日志后，在物理数据页上，重新修改数据的过程。REDO 日志重演由专门的 REDO 日志重演服务完成，重演服务严格按照 REDO 日志产生的先后顺序，解析 REDO 日志、修改相应的物理数据页，并且重演过程中备库会生成自身的 REDO 日志写入联机日志文件。

守护进程

守护进程 (dmwatcher) 是数据守护系统的核心工具，监控数据库实例的运行状态和主备库数据同步情况，在出现故障时启动各种处理预案。守护进程是各种消息的中转站，接收数据库实例、其他守护进程、以及监视器发送的各种消息；同时，守护进程也会将收到的数据库实例消息转发给其他守护进程和监视器。守护进程必须和被守护的数据库实例部署在同一台机器上。

监视器

监视器 (dmmonitor) 用来监控守护系统内守护进程、数据库实例信息，执行用户输入命令、监控实例故障、实现自动切换等。监视器一般配置在数据库实例和守护进程以外的机器上。

三、数据守护系统特性

1. **完整功能的主库
   
2. 活动的备库
   
3. 多重数据保护
   
4. 高可用性
   
5. 多种守护模式
   
6. 多种守护类型
   
7. 故障自动重连
   
8. 故障库自动重加入
   
9. 历史数据自动同步
   
10. 自动负载均衡
    
11. 滚动升级
    
12. 灵活的搭建方式
    
13. 完备的监控工具
    
14. 完善的监控接口
    
15. 丰富的守护命令
    
16. 支持 DMDSC 守护**
    

四、实时主备集群详细介绍

实时主备系统由主库、实时备库、守护进程和监视器组成。通过部署实时主备系统，可以及时检测并处理各种硬件故障、数据库实例异常，确保持续提供数据库服务。实时主备系统主要包括以下功能：

实时数据同步

主备库通过实时归档完成数据同步，实时归档要求主库将 RLOG_PKG 发送到备库后，再将 RLOG_PKG 写入本地联机 REDO 日志文件。但要注意的是，备库确认收到主库发送的 REDO 日志，并不保证备库已经完成重演这些 REDO 日志，因此主备库之间的数据同步存在一定的时间差。

主备库切换

主备库正常运行过程中，可以通过监视器的 Switchover 命令，一键完成主备库角色转换。主备库切换功能可以确保在软、硬件升级，或系统维护时，提供不间断的数据库服务。

自动故障处理

备库故障，不影响主库正常提供数据库服务，守护进程自动通知主库修改实时归档为 Invalid 状态，将实时备库失效。

自动数据同步

备库故障恢复后，守护进程自动通知主库发送归档 REDO 日志，重新进行主备库数据同步。并在历史数据同步后，修改主库的实时归档状态为 Valid，恢复实时备库功能。备库接管后，原主库故障恢复，守护进程自动修改原主库的模式为 Standby，并重新作为备库加入主备系统。

备库接管

主库发生故障后，可以通过监视器的 Takeover 命令，将备库切换为主库，继续对外提供服务。如果配置为自动切换模式，确认监视器可以自动检测主库故障，并通知备库接管，这个过程不需要人工干预。

备库强制接管

如果执行 Takeover 命令不成功，但主库可能由于硬件损坏等原因无法马上恢复，为了及时恢复数据库服务，DM 提供了 Takeover Force 命令，强制将备库切换为主库。但需要由用户确认主库故障前，主库与接管备库的数据是一致的（主库到备库的归档是 Valid 状态），避免引发守护进程组分裂。

读写分离访问

在备库查询的实时性要求不高的条件下，实时主备也可以配置接口的读写分离属性访问，实现读写分离功能特性。

五、DMDSC 数据守护集群详细介绍

DMDSC（数据共享集群）支持多个数据库实例同时访问、修改保存在共享存储中的数据，能够提供更高的数据库可用性和事务吞吐量。但由于数据是保存在共享存储上，当出现存储失效等故障时，数据库服务将会中断。

DM 数据守护包含多个数据库，主库和备库部署在不同的机器上，数据分别保存在各自的存储上，主库传递 Redo 日志到备库，备库重演 Redo 日志实现数据同步。

DMDSC 集群数据守护功能与单节点数据守护保持一致，支持故障自动切换，支持实时归档与读写分离集群。支持 DMDSC 集群的守护，DMDSC（主）和 DMDSC（备）、DMDSC（主）和单节点（备）、单节点（主）和 DMDSC（备）相互之间都可以作为主备库的数据守护。

总体原则说明：

DMDSC 集群各个节点分别部署守护进程（dmwatcher）。

DMDSC 集群数据库控制节点的守护进程，称为控制守护进程，普通节点的守护进程称为普通守护进程，如果控制节点发生变化，则控制守护进程也相应变化。

守护进程会连接 DMDSC 集群所有实例，但只有控制守护进程会发起 OPEN、故障处理、故障恢复等各种命令。普通守护进程不处理用户命令，但接收其他库的控制守护进程消息。

主备实时同步数据时，DMDSC 集群主库各个节点将各自产生的联机日志发送到备库控制节点（重演节点）进行重演，备库普通节点不接收日志。