Gitlab从删库到恢复 - 数据库备份\恢复\容灾\HA的靠谱姿势

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介: 标签 PostgreSQL , 节假日巡检 , 监控 , 闪回 , flash back query , trigger , event trigger , 回收站 , recycle bin , pgtranshcan , hook , _PG_init , 事件触发器 , 审计 , 跟踪 , 逻辑复制 , DDL逻辑复制 , UDR , BDR , 数据库安全 背景 如果你是身处数据库行业的朋友,最近可能被朋友圈的各种关于 "炉石数据被删" 、 "mongoDB遭黑客勒索" 的事件刷屏。

标签

PostgreSQL , 节假日巡检 , 监控 , 闪回 , flash back query , trigger , event trigger , 回收站 , recycle bin , pgtranshcan , hook , _PG_init , 事件触发器 , 审计 , 跟踪 , 逻辑复制 , DDL逻辑复制 , UDR , BDR , 数据库安全


背景

如果你是身处数据库行业的朋友,最近可能被朋友圈的各种关于 "炉石数据被删" 、 "mongoDB遭黑客勒索" 的事件刷屏。

而就在今天(2017-02-01)事情再一次升华, "gitlab 数据库的数据文件被rm -rf误删",数据库的恢复过程和细节有直播视频,请参考gitlab的官方解释,以免以讹传讹。   

数据库在是企业中占据非常重要的位置,发生数据库被SQL注入,数据被误删的事情,不仅仅影响业务,还可能造成用户的信息被泄露。

DBA一族就像IT行业的边防战士,守卫数据是DBA的重要职责之一。

pic

但是总有防不胜防的时候,比如失恋了,喝多了,又或者操作界面太多,来回切换过多导致人为失误率上升。    

pic

如何让数据文件被rm -rf后还能愉快的玩耍呢?

多副本 - 可以抵御rm -rf的HA

在很多传统企业中,常见的HA手段是通过多主机挂载共享存储来实现的,实际上数据只有一份,因为存储的可用性相比服务器高很多。  

pic

这种HA方式的弱点很明显,存储存在单点(当然你也可以使用多个存储,物理镜像来解决类似单点),另一方面,由于存储只有一份,或者通过镜像产生的多分,因此数据删除时具备传染性,一删全删,因此无法抵御gitlab的rm -rf操作。

这种HA方式的优点,结构比较简单,数据一致性比较好保证。

多副本HA与容灾

PostgreSQL 从9.1开始就支持了双副本的同步模式流复制,多副本异步的流复制模式,9.6新增了多副本同步模式。

使用这种方式,即使主库的数据文件被rm -rf了,由于同步是基于REDO的,所以操作系统的命令并不会被传染,可以抵御rm -rf的误操作。

pic

pic

参考

《PostgreSQL 数据库HA》

《PostgreSQL 金融行业高可用和容灾解决方案》

《ApsaraDB的左右互搏术 - 解决企业痛处 TP+AP混合需求》

另外还有一重需要注意的点,一定要有异地的备份,以及异地的容灾节点,这样才能抵御单一机房存在的故障隐患。

阿里云 ApsaraDB for PostgreSQL 冷热分离插件

你可以把不会变化的历史数据存储到阿里云提供的外部对象存储中,即节省数据库空间,同时这部分数据又可以免去备份(对象存储本身就是多副本的,当然话虽如此,作为管理员,备份一份到异地或者其他平台也是有必要的)。

pic

正确的备份姿势

1 逻辑备份

库级一致性,备份只能恢复到单一时间点,无法做到增量恢复,无法做到增量的备份。

另一方面还要注意,由于大版本不同的数据库,往往catalog也可能不一样,所以逻辑备份使用的备份客户端pg_dump的版本,建议与数据库的版本一致。否则是可能会有备份异常或者失败的可能(如果没有注意到这一点,就有可能导致逻辑备份失败哦)。    

《PostgreSQL 最佳实践 - 在线逻辑备份与恢复介绍》

2 在线全量+归档备份

最为常见的备份方式,可以在线进行,可以恢复到任意时间点(事务粒度)。

如果忽视了这一点,在使用pg_basebackup备份时,如果目标备份目录已存在,同时目录不为空,备份也会异常。

请参考pg_basebackup手册,已经写明(这么做也许是为了保证每次备份的稳定性,不会受到已有文件的干扰或打断,作为备份工具设计者,鬼知道非空目录会不会有文件冲突呢),平时多看手册还是有帮助的。

       -D directory

       --pgdata=directory

           Directory to write the output to.  pg_basebackup will create the directory and any parent directories if necessary. The directory may already exist, but it is an error if the directory already exists

           and is not empty.

           When the backup is in tar mode, and the directory is specified as - (dash), the tar file will be written to stdout.

           This option is required.

c0bfcfce99ca0522bf05df7881ffb5e18201c25c

50a09d553b8d27a86fa673541883d1d99ba72779

《PostgreSQL 最佳实践 - 在线增量备份与任意时间点恢复》

3 块级增量+归档

因为每个数据块的头部都有LSN标记,所以PostgreSQL支持数据文件的块级增量,只备份上一次备份以来,变更过的数据块。同样支持恢复到任意时间点(事务粒度)。相比全量+归档,更节约空间。

《PostgreSQL 最佳实践 - 块级别增量备份(pg_rman baseon LSN)源码浅析与使用》

《PostgreSQL 最佳实践 - pg_rman 以standby为源的备份浅析》

《PostgreSQL 最佳实践 - pg_rman 数据库恢复示例 与 软件限制解说》

https://github.com/postgrespro/pg_probackup

4 文件系统、逻辑卷镜像

除了数据库本身支持的数据文件块级增量备份,如果你使用了支持快照的文件系统或者逻辑卷管理的存储,那么你还有一种增量备份的选择,打快照,注意打快照时需要先执行pg_start_backup(''),让数据库进入在线备份状态,打完快照执行pg_stop_backup()。

《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)方案与实战》

《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)备份集自动校验》

《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)单个数据库采用多个zfs卷(如表空间)时如何一致性备份》

《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)双机HA与块级备份部署》

5 对象存储

把不会变化的历史数据存储到阿里云提供的外部对象存储中,即节省数据库空间,同时对象存储本身就是多副本的。

oss_fdw插件用法参考  

https://help.aliyun.com/document_detail/44461.html

异地备份

备份如果只放在数据库的同一机房,是无法抵御单一机房的风险的,许多公司会将在异地机房有一份备份的存档或者镜像。

对于PostgreSQL数据库,异地备份非常的简便和多样,比如

1. 方法1, 对已经在异地的流式standby节点进行备份,

2. 方法2, 通过文件系统如zfs或存储的快照,将备份传输到异地机房

3. 方法3, 将本地的全量备份异步的传输到异地机房,同时将主机房数据库的redo流式的传输到异地机房,保证两个机房的数据延迟极低,当主机房发生险情(如地震)时,数据丢失率通常能控制在KB或者毫秒内的级别(视带宽和业务情况,即REDO产生的速率与带宽的匹配)。 如果你希望做到异地的0丢失,可以拉专线,使用异地同步流复制,这样的话即使主机房完全挂掉,也不会丢数据了。

4. 方法4, 将本地机房的备份数据,异步或者通过调度的方式,定时的同步到异地机房的存储中。

备份集校验 与 任意时间点恢复(事务粒度)

除了有效的备份,还要保证备份的有效性,例如,可以使用以下方法检验备份+归档,以及快照方法备份的有效性。

《PostgreSQL 最佳实践 - 在线增量备份与任意时间点恢复》

《PostgreSQL 最佳实践 - 任意时间点恢复源码分析》

《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)备份集自动校验》

九阳神功秘籍

除了要有日常的备份,HA,异地备份,异地容灾,备份集合的校验机制。

制定规范,养成良好的习惯也是很重要的。奉上 《DBA一族九阳神功秘籍》 希望对大家有一丝帮助。

DBA一族九阳神功 1 日常篇

作为DBA一族,首当其冲的是守卫数据,让数据库正常运转,所以有些事情是骨子里就应该遵循的。

1. 制定并执行数据库安全规范

2. 制定并执行数据库管理规范

3. 制定并执行数据库开发规范

4. 建立自动化监控系统

5. 建立自动化巡检、备份、HA、异地容灾、异地备份系统、(还有很重要的备份集可用性校验,特别是在磁带库时代)

6. 制定节假日的封网机制、应急机制

这样就建立了一道强有力的封印,可以有效的防止外族入侵。

细节请打开如下文档阅读

《DBA专供 冈本003系列 - 数据库安全第一,过个好年》

《PostgreSQL 数据库安全指南》

《PostgreSQL 数据库开发与管理规范》

《PostgreSQL 数据库巡检》

《PostgreSQL 数据库在上市公司重要应用中的SOX审计》

DBA一族九阳神功 2 重大节假日前篇

1. 春节前,建议增加一次例行的巡检,就好像我们出远门检查一下车子一样。

2. 对可预知的业务数据库、(当然还包括应用服务器等)进行扩容,这个是很有必要的,通常许多业务会在节假日时迎接高峰,例如游戏类业务、社交类业务、电商类业务等。

3. 预备一批硬件standby,以便应对春节的即时需要

4. 封网,停止变更,通常需要提前数天停止变更,减少因为变更带来的潜在问题。

例如应用程序变更后,可能新增了一些SQL语句,这些SQL语句本身可能没有优化好,又或者无法预知业务对这些SQL语句的请求量并发量等,导致数据库在重大节假日存在潜在的炸弹。

5. 排班。安排好值日,做到7*24小时有DBA可以响应,保持手机畅通,同时确保值班的童鞋可以连接网络。

6. 通常值日生在节假日期间一个人要负责的业务比平时负责的业务更广泛,所以对值日生进行值班内容、业务的培训也是很有必要的。

因此平时的DBA轮岗机制也是很重要的,要绝对避免这样的现象:一个业务只有一位DBA熟悉。

7. 宣导,向公司业务方敲锣打鼓的宣导,要进入封网期间了,请大家遵循封网规则,不要在封网期间做越界的事情(比如变更、发布)。

虽然在制度上和某些IT手段上控制了封网期间的行为,但是难免有漏网之鱼,所以宣导也是很重要的。

DBA一族九阳神功 3 重大节假日中篇

1. 值班,通常分为在线和离线值班,在线和上班差不多,可能要随时关注一些NOC平台的指标,间歇性的填写一些值班报告。

离线值班指被动的接收告警短信,邮件,发生问题时上线处理。

2. 交接班,交接班是非常重要的,通常上一个班的同事会发现一些异常,交代给下一位值班的同事,如果真的遇到问题响应速度和判断效率也更高。

DBA一族九阳神功 4 重大节假日后篇

封网结束后,一切又回归正常了。但是有一件很重要的事情别忘记了。

1. 复盘

复盘通常指对封网期间的系统状态进行回顾,要达到几个目的

1.1 扩容预估是否合理,同时建议反馈给业务方相应的数据

1.2 是否有故障,什么原因导致的,将来如何避免

1.3 监控系统是否存在疏漏,将来如何避免

1.4 是否有违规变更、发布,将来如何避免

小结

相信很多公司都有类似的制度,DBA一族加油,做到尽量的避免rm -rf事件,即使真的发生了,也可以做到心里不慌,用户不慌。

关于《gitlab从删库到恢复》事件,就不作评论了,大家有兴趣的话,建议参考Gitlab的官方回应,以免以讹传讹。 

同时,在任何时候,建立健全的制度,都是非常重要的。操作时也务必保持清醒的头脑,尽量少犯人为的错误。    

如果有哪些写得不对或者不够完善,也感谢指出。

目录
相关文章
|
7月前
|
SQL 数据处理 数据库
实时计算 Flink版产品使用合集之同步数据库时,库名称变了,route只能到表级别,怎么解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
存储 关系型数据库 MySQL
PACS系统 中 dicom 文件在mysql 8.0 数据库中的 存储和读取(pydicom 库使用)
PACS系统 中 dicom 文件在mysql 8.0 数据库中的 存储和读取(pydicom 库使用)
38 2
|
5月前
|
缓存 运维 关系型数据库
数据库容灾 | MySQL MGR与阿里云PolarDB-X Paxos的深度对比
经过深入的技术剖析与性能对比,PolarDB-X DN凭借其自研的X-Paxos协议和一系列优化设计,在性能、正确性、可用性及资源开销等方面展现出对MySQL MGR的多项优势,但MGR在MySQL生态体系内也占据重要地位,但需要考虑备库宕机抖动、跨机房容灾性能波动、稳定性等各种情况,因此如果想用好MGR,必须配备专业的技术和运维团队的支持。 在面对大规模、高并发、高可用性需求时,PolarDB-X存储引擎以其独特的技术优势和优异的性能表现,相比于MGR在开箱即用的场景下,PolarDB-X基于DN的集中式(标准版)在功能和性能都做到了很好的平衡,成为了极具竞争力的数据库解决方案。
|
5月前
|
机器学习/深度学习 数据采集 监控
基于CNN卷积神经网络的步态识别matlab仿真,数据库采用CASIA库
**核心程序**: 完整版代码附中文注释,确保清晰理解。 **理论概述**: 利用CNN从视频中学习步态时空特征。 **系统框架**: 1. 数据预处理 2. CNN特征提取 3. 构建CNN模型 4. 训练与优化 5. 识别测试 **CNN原理**: 卷积、池化、激活功能强大特征学习。 **CASIA数据库**: 高质量数据集促进模型鲁棒性。 **结论**: CNN驱动的步态识别展现高精度,潜力巨大,适用于监控和安全领域。
|
4月前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之如何判断数据库类型是否支持整库
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
SQL JavaScript 前端开发
websql数据库javascript操作库--websqlWrapper
websql数据库javascript操作库--websqlWrapper
|
4月前
|
数据库连接 数据库
Thinkphp6多数据库实例跨库操作
Thinkphp6多数据库实例跨库操作
68 0
|
4月前
|
SQL Oracle 关系型数据库
【计算机三级数据库技术】第12章 备份与恢复数据库--附思维导图
文章概述了数据库备份与恢复的基本概念、SQL Server和Oracle的备份与恢复机制,包括恢复模式、备份类型、还原顺序以及实现恢复的方法。
50 0
|
6月前
|
SQL 关系型数据库 数据管理
数据管理DMS产品使用合集之归档数据至其它MySQL数据库时,如何指定目的库
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
76 1
|
6月前
|
SQL 关系型数据库 数据库
实时计算 Flink版产品使用问题之如何同步一个数据库的数据转换到另一个库
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。