OBCP第七章 OB迁移、备份与恢复-迁移服务

简介: OBCP第七章 OB迁移、备份与恢复-迁移服务

Oceanbase迁移服务

OceanBase 迁移服务(OceanBase Migration Service,OMS)是 OceanBase 提供的一种支持同构或异构RDBMS与OceanBase之间进行数据交互的服务,具备在线迁移存量数据和实时同步增量数据的能力。


支持多种数据源:OMS支持MySQL、 Kafka等多种类型的数据终端与OceanBase 进行实时数据传输

在线迁移无感知:在不停服的情况下,可以通过OMS无缝迁移数据至OceanBase。应用切换至OceanBase数据库后,OceanBase数据库上所有的变更数据会实时同步至切换前的源端数据库


安全可靠高性能:OMS能够实时复制异构的IT基础结构之间大量数据的毫秒级延迟;可以应用于数据迁移、跨城异地数据灾备、应急系统、实时数据同步、容灾、数据库升级和移植等多个场景


实时同步助解耦:OMS支持OceanBase两种租户与自建Kafka、RocketMQ之间的数据实时同步,可以应用于实时数据仓库搭建、数据查询和报表分流等业务场景

OMS架构概览:

OceanBase迁移服务(OceanBase Migration Service,OMS)连接的两端分别是待迁移的源业务数据库和目标端OceanBase数据库。

下图为OMS的系统架构图:

OMS分层功能体系

服务接入层

主要包括客户端迁移服务的交互、各种类型数据源的管理、迁移任务的录入、OMS各个组件模块的运维和监控,以及告警设置等。


流程编排层

主要负责实现上层表结构同步、启动全量数据同步、增量数据同步、数据校检和数据订正,以及链路切换等任务的执行细节。


组件链路层

组件链路层包括以下模块:

负责全量数据的迁移和校检,并针对校检不一致的数据生成订正 SQL


脚本的 Light-Dataflow 模块。


负责数据库增量日志的读取、解析和存储的 Store 模块。


负责向目标端数据库并发写入的JDBCWriter模块。


负责向目标端消息队列增量写入的Connector模块。


负责组件状态监控的Supervisor模块。


OMS功能-数据迁移

迁移任务

迁移任务是 OMS 数据迁移功能的基本单元。OMS 在创建迁移任务时,可以指定的最大迁移范围是数据库级 别,最小迁移范围是表级别。迁移任务的生命周期包括结构迁移、全量数据迁移和增量迁移同步链路的全部流程管理


迁移类型


OMS支持Schema结构迁移、全量数据迁移以及增量数据迁移,同时支持数据校验功能


利用OMS实现平滑去O迁移方案

数据实时同步 + 快速切换 + 回滚预案


OMS功能-数据同步

功能特性:


支持OceanBase的两种租户(Oracle 和 MySQL)与自建 Kafka、RocketMQ 之间的实时数据同步


支持Sybase ASE和自建RocketMQ之间的实时数据同步


支持OB_MySQL/Oracle/MySQL和DataHub之间的实时数据同步


支持库、表和列三级对象名映射


同步对象的选择粒度为表、列,您可以根据需要选择同步的对象。OMS 可以实现对源端实例和目标实例的库名、表名或列名不同的两个对象之间进行数据同步。


支持消息队列处理工具作为数据同步的目标端。


支持OceanBase物理表和自建Kafka数据源之间的数据实时同步


支持数据过滤。


支持根据 DML 类型过滤投递消息,过滤需要同步的数据


完善的性能查询体系。


数据同步提供同步延迟、当前同步位点等数据,便于您查看同步链路的性能


动态管理数据同步任务。


支持在数据同步过程中动态增加同步数据表,并支持回拉位点重新投递增量数据

OMS功能总结

数据库不停服迁移

在传统的数据库停机迁移的方式进行数据迁移对业务影响较大


OMS不停服数据迁移功能不影响迁移过程中源数据库持续对外提供服务,能够最小化数据迁移对业务的影响


在完成结构迁移、全量数据迁移和增量数据迁移后,源数据库的全量和增量数据均已实时同步至目标数据库中,数据校验通过后,业务可以从源端切换至目标端


实时数据同步


OMS的数据同步功能支持实时同步OceanBase、Sybase等数据库的增量数据至自建的Kafka、RocketMQ等消息队列


OMS支持OceanBase物理表和自建的Kafka等数据源之间的数据实时同步,推荐用于云 BI、实时数据仓库搭建、数据查询和报表分流等多种业务场景


相关文章
|
Java iOS开发 MacOS
学妹:你的 IDEA 主题怎么这么好看?
哈喽,小伙伴们好呀。我是狗哥,今天不聊技术,聊聊我们的吃饭工具。经常有小伙伴问我:“你的 IDEA 主题怎么这么好看,能推荐一下不?”。问的人太多了,才索性写了这篇文章。 在这篇文章中,我精选了几个比较适合 Java 编码的 IDEA 主题供小伙伴们选择。另外,我自己用的是 One Dark theme 这款。
学妹:你的 IDEA 主题怎么这么好看?
|
2月前
|
人工智能 运维 Shell
还在手动敲命令?OpenCode CLI 这 10+ 实用命令让你的开发效率起飞
熟练使用 CLI 命令是高效驾驭 OpenCode 的基础。本文系统讲解 OpenCode CLI 基础命令、核心功能、TUI 自定义命令、快捷键配置及环境变量,帮助开发者全面掌握 OpenCode 使用方法。
928 1
|
关系型数据库 MySQL 调度
DataX教程(05)- DataX Web项目实践
DataX教程(05)- DataX Web项目实践
4515 0
|
10月前
|
存储 SQL Prometheus
图文解析带你精通时序PromQL语法
[阿里云SLS可观测团队发布] 本文通过图文解析深入讲解PromQL的计算原理,涵盖其与SQL的差异、时间线模型、选点机制、聚合函数、窗口函数及常见非预期场景,帮助用户掌握PromQL的核心语法与执行逻辑。
1345 10
|
安全 API
通义千问API获取方法
访问阿里云DashScope官网以获取API-KEY。首先需开通DashScope服务:登录控制台,点击“去开通”,阅读协议后点击“立即开通”。接着获取API-KEY:进入API-KEY管理页面,点击“创建新的API-KEY”,复制并安全保存生成的API-KEY。完成这些步骤后,即可使用API-KEY调用DashScope API。更多详情见[官方文档](https://help.aliyun.com/zh/dashscope/developer-reference/acquisition-and-configuration-of-api-key)。
|
JSON 前端开发 JavaScript
前后端对接的常见问题、解决方法及实战心得
本文总结了前后端对接中的常见问题,如接口文档不清、返回格式不统一、参数错误、跨域等,并提供解决方法与实战协作建议,助力高效开发联调。
|
小程序 开发者
解决微信小程序因为包太大无法上传:uniapp分包
解决微信小程序因为包太大无法上传:uniapp分包
1188 65
|
安全 小程序 数据建模
SSL证书概述、类型、价格、作用及应用等10大常见问题解答
在互联网+时代,随着数字化进程加速,网络威胁日益严峻。SSL证书作为遵循SSL协议的数字证书,能实现HTTPS加密,验证网站服务器身份,确保数据传输安全性和完整性,有效防范中间人攻击和钓鱼网站。本文将介绍关于SSL证书的10大常见问题,帮助您更好地了解和使用SSL证书,确保网站安全。
|
数据库
达梦数据库启用日志方法,达梦数据库查看日志是否启用,达梦数据库日志文件位置查找
达梦数据库启用日志方法,达梦数据库查看日志是否启用,达梦数据库日志文件位置查找
2272 0
达梦数据库启用日志方法,达梦数据库查看日志是否启用,达梦数据库日志文件位置查找
|
图形学 开发者
【Unity光照艺术手册】掌握这些技巧,让你的游戏场景瞬间提升档次:从基础光源到全局光照,打造24小时不间断的视觉盛宴——如何运用代码与烘焙创造逼真光影效果全解析
【8月更文挑战第31天】在Unity中,合理的光照与阴影设置对于打造逼真环境至关重要。本文介绍Unity支持的多种光源类型,如定向光、点光源、聚光灯等,并通过具体示例展示如何使用着色器和脚本控制光照强度,模拟不同时间段的光照变化。此外,还介绍了动态和静态阴影、全局光照及光照探针等高级功能,帮助开发者创造丰富多样的光影效果,提升游戏沉浸感。
1108 1

热门文章

最新文章