OBCP第七章 OB迁移-备份恢复技术架构及操作方法

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,内容安全 1000次 1年
简介: OBCP第七章 OB迁移-备份恢复技术架构及操作方法

为什么需要备份恢复

为满足监管要求

防止管理员误操作后,错误数据同步到所有副本,导致数据无法恢复

防止数据库因各种故障而造成数据丢失,降低灾难性数据丢失的风险,从而达到灾难恢复的目的

硬盘驱动器损坏

黑客攻击、病毒

自然灾害、电源浪涌、磁干扰

物理备份/恢复方案的系统架构

OceanBase 数据库支持 OSS 、 NFS 、COS三种备份介质。

OceanBase 数据库从 V2.2.52 版本开始支持集群级别的物理备份。

物理备份由基线数据、日志归档数据两种数据组成:

日志归档是指日志数据的自动归档功能,OBServer 会定期将日志数据归档到指定的备份路径。这个动作是全自动的,不需要外部定期触发。

数据备份指的是备份基线数据的功能,该功能分为全量备份和增量备份两种



备份恢复数据

支持基线数据和增量数据备份

内部数据按照存储方式,可以化分为基于MemTable格式的增量数据和基于 SSTable格式的基线数据


基线数据:最后一次合并落盘的数据之和


增量数据:是当前合并时间点以后的所有更新数据,一般会存储在MemTable的内存表中,同时也会实例化为 Commit Log文件的形式存放在硬盘上


支持数据库上的任何操作

OceanBase的备份恢复支持数据库上的任何操作;

包括用户权限、表定义、租户定义、系统变量、用户信息、视图信息等逻辑数据以及所有的物理数据。

支持集群级和租户级备份

OceanBase的备份恢复目前支持的最小粒度是租户;

可以按需只备份恢复某个租户而不是整个集群,从而增加了备份恢复的灵活性,节省了空间。

物理备份介绍

数据备份指的是备份基线数据的功能,该功能分为全量备份和增量备份两种:


1.全量备份是指备份所有的需要基线的宏块。


2.增量备份是指备份上一次备份以后新增和修改过的宏块

日志归档是定期备份到备份目的端的,只需要用户发起一次alter system archivelog,日志备份就会在后台持续进行

物理备份操作方法:

1.部署NFS,所有OBServer都要连接到NFS服务器(或采用OSS服务器)

2.执行备份

2.1 配置备份目的地 : 执行 Alter system 语句配置备份目的

NFS:obclient> ALTER SYSTEM SET backup_dest='file:///data/nfs/backup';
OSS:obclient> ALTER SYSTEM SET backup_dest='oss://XXXXXXXXXXXXXXXXXXXXXXX';

2.2 启动 Oceanbase 的数据库日志归档功能

obclient> ALTER SYSTEM ARCHIVELOG;

2.3 执行全量备份或增量备份

obclient> ALTER SYSTEM MAJOR FREEZE; <--------执行全量备份前,对集群进行一次合并
obclient> SET ENCRYPTION ON IDENTIFIED BY 'password' ONLY; <----设置备份密码(可选)
obclient> ALTER SYSTEM BACKUP DATABASE; <-------执行全量备份
obclient> Alter system backup incremental database; <-------执行增量备份, 确保已经有全量备份存在

3 查看任务状态

obclient> SELECT * FROM CDB_OB_BACKUP_PROGRESS; <---------- 查看备份任务
obclient> SELECT * FROM CDB_OB_BACKUP_SET_DETAILS; <-----查看备份任务历史


物理恢复介绍

在目的集群上用建立恢复租户需要的unit 与resource pool。


通过 ALTER SYSTEM RESTORE TENANT 命令调度租户恢复任务。 对于备份恢复来说,restore tenant 命令内部的流程如下:


1. 创建恢复用的租户

2. 恢复租户的系统表数据

3. 恢复租户的系统表日志

4. 调整恢复租户的元信息

5. 恢复租户的用户表数据

6. 恢复租户的用户表日志

7. 恢复扫尾工作


物理恢复操作方法

1、停止日志备份

obclient> ALTER SYSTEM NOARCHIVELOG;


2、执行恢复

2.1 创建恢复目标租户需要用到的 Unit、resource pool

unit:obclient> CREATE RESOURCE UNIT XXXXXXXXXXXXXXXXXXXXXXX;
resource pool:obclient>CREATE RESOURCE POOL XXXXXXXXXXXXXX;


2.2 设置加密信息 , 以及恢复密码(如果未加密,或者恢复时可以访问原来的 KMS,跳过本步骤; 恢复密码是备份时添加了密码场景才需要)

obclient> SET @kms_encrypt_info = '<加密string>' <----值为EXTERNAL_KMS_INFO 的值
obclient> SET DECRYPTION IDENTIFIED BY 'password1','password2'; <----备份时设置的“全量备份”,“增量备份”的密码,未设置可
跳过次步骤

2.3打开恢复配置、执行恢复任务

obclient> ALTER SYSTEM SET restore_concurrency = 50; <-----检查 restore_concurrency 是否为0,为0 的话需要执行这条语句
obclient> ALTER SYSTEM RESTORE <dest_tenantname> FROM <source_tenantname> at 'uri' UNTIL 'timestamp' WITH 
'restore_option’;

3、查看任务状态

obclient> SELECT svr_ip,role, is_restore, COUNT(*) FROM __all_virtual_meta_table AS a, (SELECT value FROM 
__all_restore_info WHERE name='tenant_id') AS b WHERE a.tenant_id=b.value GROUP BY role, is_restore, svr_ip ORDER 
BY svr_ip, is_restore;
obclient> SELECT * FROM __all_restore_info;

OB提供迁移服务,支持同构或异构RDBMS与OceanBase之间进行数据交互的服务


OMS的功能体系可以分为服务接入层、流程编排层、组件链路层


OMS主要应用场景包括数据库不停服迁移和数据实时同步


OB数据库支持 OSS 和 NFS 两种备份介质


OB支持基线数据和增量数据备份,支持数据库上的任何操作的备份、支持集群级备份和租户级备份


OB物理备份恢复需要在目的集群上用建立恢复租户需要的unit 与 resource pool


相关文章
|
数据管理 测试技术 API
如何从单体架构迁移到微服务架构:挑战和最佳实践
如何从单体架构迁移到微服务架构:挑战和最佳实践
476 0
|
7月前
|
Java Linux Docker
倚天使用|YODA倚天应用迁移神器,让跨架构应用迁移变得简单高效
YODA(Yitian Optimal Development Assistant,倚天应用迁移工具)旨在帮助用户更加高效、便捷地实现跨平台、跨结构下的应用迁移,大幅度缩短客户在新平台上端到端性能验证所需的人力和时间,使得客户更加专注于应用本身算法的优化,协同客户实现降本增效。
124816 92
|
JSON 算法 前端开发
YODA倚天应用迁移神器,让跨架构应用迁移变得简单高效
YODA(Yitian Optimal Development Assistant,倚天应用迁移工具)旨在帮助用户更加高效、便捷地实现跨平台、跨结构下的应用迁移,大幅度缩短客户在新平台上端到端性能验证所需的人力和时间,使得客户更加专注于应用本身算法的优化,协同客户实现降本增效。
|
弹性计算 资源调度 负载均衡
OBCP第一章:OB分布式架构高级技术
OBCP第一章:OB分布式架构高级技术
192 0
|
弹性计算 Java 芯片
技术分享 | 软件跨架构迁移(X86->ARM)的原理及实践
针对阿里云倚天实例的软件迁移,阿里云为开发者提供了迁移工具EasyYitian和性能调优工具KeenTune,能够帮助用户解决软件迁移评估分析过程中人工分析投入大、准确率低、代码兼容性人工排查困难、迁移经验欠缺、反复依赖编译调错定位等痛点,实现业务在ARM ECS的快速适配。EasyYitian支持主流开发语言,通过系统自动化扫描可以一键生成分析报告。KeenTune通过AI算法与专家知识库的有效结合,为软件应用提供动态和静态协同调优的能力。
技术分享 | 软件跨架构迁移(X86->ARM)的原理及实践
|
弹性计算 Java 芯片
阿里云张伟分享 | 软件跨架构迁移(x86-&gt;ARM)的原理及实践
2023年8月31日,系列课程第四节《软件跨架构迁移(X86 -&gt; ARM)的原理及实践》正式上线,由阿里云弹性计算架构师主讲,内容涵盖:ARM与x86架构的差异分析;软件跨架构迁移的原理;软件迁移策略制定、环境准备、执行、测试优化及持续部署与维护等;以及软件迁移的全流程解读。
阿里云张伟分享 | 软件跨架构迁移(x86-&gt;ARM)的原理及实践
|
容灾 测试技术 数据库
容灾架构迁移
容灾架构迁移
|
弹性计算 人工智能 算法
阿里云张伟:软件跨架构迁移(X86 -&gt; ARM)的原理及实践|阿里云弹性计算技术公开课直播预告
针对阿里云倚天实例的软件迁移,阿里云为开发者提供了迁移工具EasyYitian和性能调优工具KeenTune,能够帮助用户解决软件迁移评估分析过程中人工分析投入大、准确率低、代码兼容性人工排查困难、迁移经验欠缺、反复依赖编译调错定位等痛点,实现业务在ARM ECS的快速适配。EasyYitian支持主流开发语言,通过系统自动化扫描可以一键生成分析报告。KeenTune通过AI算法与专家知识库的有效结合,为软件应用提供动态和静态协同调优的能力。
阿里云张伟:软件跨架构迁移(X86 -&gt; ARM)的原理及实践|阿里云弹性计算技术公开课直播预告
|
分布式计算 大数据 API
完美避坑!记一次Elasticsearch集群迁移架构实战
Elastic自身设计了集群分片的负载平衡机制,当有新数据节点加入集群或者离开集群,集群会自动平衡分片的负载分布。
下一篇
DataWorks