OBCP第七章 OB迁移、备份与恢复-迁移服务

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: OBCP第七章 OB迁移、备份与恢复-迁移服务

Oceanbase迁移服务

OceanBase 迁移服务(OceanBase Migration Service,OMS)是 OceanBase 提供的一种支持同构或异构RDBMS与OceanBase之间进行数据交互的服务,具备在线迁移存量数据和实时同步增量数据的能力。


支持多种数据源:OMS支持MySQL、 Kafka等多种类型的数据终端与OceanBase 进行实时数据传输

在线迁移无感知:在不停服的情况下,可以通过OMS无缝迁移数据至OceanBase。应用切换至OceanBase数据库后,OceanBase数据库上所有的变更数据会实时同步至切换前的源端数据库


安全可靠高性能:OMS能够实时复制异构的IT基础结构之间大量数据的毫秒级延迟;可以应用于数据迁移、跨城异地数据灾备、应急系统、实时数据同步、容灾、数据库升级和移植等多个场景


实时同步助解耦:OMS支持OceanBase两种租户与自建Kafka、RocketMQ之间的数据实时同步,可以应用于实时数据仓库搭建、数据查询和报表分流等业务场景

OMS架构概览:

OceanBase迁移服务(OceanBase Migration Service,OMS)连接的两端分别是待迁移的源业务数据库和目标端OceanBase数据库。

下图为OMS的系统架构图:

OMS分层功能体系

服务接入层

主要包括客户端迁移服务的交互、各种类型数据源的管理、迁移任务的录入、OMS各个组件模块的运维和监控,以及告警设置等。


流程编排层

主要负责实现上层表结构同步、启动全量数据同步、增量数据同步、数据校检和数据订正,以及链路切换等任务的执行细节。


组件链路层

组件链路层包括以下模块:

负责全量数据的迁移和校检,并针对校检不一致的数据生成订正 SQL


脚本的 Light-Dataflow 模块。


负责数据库增量日志的读取、解析和存储的 Store 模块。


负责向目标端数据库并发写入的JDBCWriter模块。


负责向目标端消息队列增量写入的Connector模块。


负责组件状态监控的Supervisor模块。


OMS功能-数据迁移

迁移任务

迁移任务是 OMS 数据迁移功能的基本单元。OMS 在创建迁移任务时,可以指定的最大迁移范围是数据库级 别,最小迁移范围是表级别。迁移任务的生命周期包括结构迁移、全量数据迁移和增量迁移同步链路的全部流程管理


迁移类型


OMS支持Schema结构迁移、全量数据迁移以及增量数据迁移,同时支持数据校验功能


利用OMS实现平滑去O迁移方案

数据实时同步 + 快速切换 + 回滚预案


OMS功能-数据同步

功能特性:


支持OceanBase的两种租户(Oracle 和 MySQL)与自建 Kafka、RocketMQ 之间的实时数据同步


支持Sybase ASE和自建RocketMQ之间的实时数据同步


支持OB_MySQL/Oracle/MySQL和DataHub之间的实时数据同步


支持库、表和列三级对象名映射


同步对象的选择粒度为表、列,您可以根据需要选择同步的对象。OMS 可以实现对源端实例和目标实例的库名、表名或列名不同的两个对象之间进行数据同步。


支持消息队列处理工具作为数据同步的目标端。


支持OceanBase物理表和自建Kafka数据源之间的数据实时同步


支持数据过滤。


支持根据 DML 类型过滤投递消息,过滤需要同步的数据


完善的性能查询体系。


数据同步提供同步延迟、当前同步位点等数据,便于您查看同步链路的性能


动态管理数据同步任务。


支持在数据同步过程中动态增加同步数据表,并支持回拉位点重新投递增量数据

OMS功能总结

数据库不停服迁移

在传统的数据库停机迁移的方式进行数据迁移对业务影响较大


OMS不停服数据迁移功能不影响迁移过程中源数据库持续对外提供服务,能够最小化数据迁移对业务的影响


在完成结构迁移、全量数据迁移和增量数据迁移后,源数据库的全量和增量数据均已实时同步至目标数据库中,数据校验通过后,业务可以从源端切换至目标端


实时数据同步


OMS的数据同步功能支持实时同步OceanBase、Sybase等数据库的增量数据至自建的Kafka、RocketMQ等消息队列


OMS支持OceanBase物理表和自建的Kafka等数据源之间的数据实时同步,推荐用于云 BI、实时数据仓库搭建、数据查询和报表分流等多种业务场景


相关文章
|
存储 数据库 数据安全/隐私保护
OBCP第七章 OB迁移-备份恢复技术架构及操作方法
OBCP第七章 OB迁移-备份恢复技术架构及操作方法
229 0
|
22天前
|
存储 Oracle 关系型数据库
服务器数据恢复—华为S5300存储Oracle数据库恢复案例
服务器存储数据恢复环境: 华为S5300存储中有12块FC硬盘,其中11块硬盘作为数据盘组建了一组RAID5阵列,剩下的1块硬盘作为热备盘使用。基于RAID的LUN分配给linux操作系统使用,存放的数据主要是Oracle数据库。 服务器存储故障: RAID5阵列中1块硬盘出现故障离线,热备盘自动激活开始同步数据,在同步数据的过程中又一块硬盘离线,RAID5阵列瘫痪,上层LUN无法使用。
|
4月前
|
存储 关系型数据库 MySQL
万物皆可备-异机备份方案
万物皆可备-异机备份方案
57 0
|
6月前
|
Oracle 关系型数据库 数据库
详细解读ADG增量恢复手册
详细解读ADG增量恢复手册
32 0
|
7月前
|
关系型数据库 MySQL 数据库
数据库第四次作业 数据备份与还原
数据库第四次作业 数据备份与还原
61 0
数据库第四次作业 数据备份与还原
|
7月前
|
存储 关系型数据库 数据库
请解释一下云数据库的备份和恢复策略。
请解释一下云数据库的备份和恢复策略。
136 0
|
存储 SQL Oracle
【数据库原理 • 六】数据库备份与恢复
数据库技术是计算机科学技术中发展最快,应用最广的技术之一,它是专门研究如何科学的组织和存储数据,如何高效地获取和处理数据的技术。它已成为各行各业存储数据、管理信息、共享资源和决策支持的最先进,最常用的技术。 当前互联网+与大数据,一切都建立在数据库之上,以数据说话,首先需要聚集数据、分析数据和管理数据,数据库技术已成为各种计算机系统的核心技术。数据库相关知识也已成为每个人必须掌握的知识。
250 0
|
存储 数据库
oushudb-数据库的备份和恢复
oushudb-数据库的备份和恢复
127 0
|
SQL 关系型数据库 数据库
PostgreSQL 最佳实践 - 在线逻辑备份与恢复介绍
背景 PostgreSQL 逻辑备份, 指在线备份数据库数据, DDL以SQL语句形式输出, 数据则可以以SQL语句或者固定分隔符(row格式)的形式输出. 备份时不影响其他用户对备份对象的DML操作. 本文主要介绍一下PostgreSQL提供的逻辑备份工具pg_dump, p
4558 0
|
监控 关系型数据库 Shell
PostgreSQL 10.1 手册_部分 III. 服务器管理_第 25 章 备份和恢复_25.3. 连续归档和时间点恢复(PITR)
25.3. 连续归档和时间点恢复(PITR) 25.3.1. 建立WAL归档 25.3.2. 制作一个基础备份 25.3.3. 使用低级API制作一个基础备份 25.3.4. 使用一个连续归档备份进行恢复 25.3.5. 时间线 25.3.6. 建议和例子 25.3.7. 警告 在任何时间,PostgreSQL在数据集簇目录的pg_wal/子目录下都保持有一个预写式日志(WAL)。
1915 0