技本功|数据安全之IDC数据容灾设计实现

简介: 近年来,数据安全问题日渐受到大家的关注,对于任何一家企业,数据无疑是最重要的资产之一。提到数据容灾,大家可能会想到备库和备份的概念,那么我们先来谈谈**备库与备份**的区别。

近年来,数据安全问题日渐受到大家的关注,对于任何一家企业,数据无疑是最重要的资产之一。提到数据容灾,大家可能会想到备库和备份的概念,那么我们先来谈谈备库与备份的区别。

备库与备份的区别

通常来讲,备库更侧重于保障服务的可用性,旨在当主库不可用时进行服务接管,从而确保故障发生后,能够在极短时间内继续拥有对外提供服务的能力;

而备份则侧重于保障数据的可靠性,其重大意义在于将数据文件进行离线冗余操作,当出现人为误操作或者不可逆故障的时候,能够使用副本进行数据的重放。

由此可见,备库与备份不可相提并论,同时也都是进行数据容灾规划中不可或缺的部分。下面的两张图片很好的诠释了这个观点。
image.png

IDC数据容灾方案

云掣科技IDC数据容灾方案基于自研EasyDO平台实现,通过一键式配置实现数据高可用、数据备份、及备份容灾转储。在这整个体系中,主备库、备份、容灾备份构成了多份数据副本。EasyDO负责整体的任务配置、任务调度、运维监控、以及多数据副本管控。整体逻辑架构图如下:
image.png

01高可用设计
高可用方案基于MySQL原生半同步复制+keepalived技术实现,主备库部署于不同物理机。通过内置的脚本实现安全切换,通过vip机制达到透明切换的目的。
核心实现逻辑如下:

平台巡检ha配置库

记录时间戳以及切换标志位,用于进行读写检测以及维护切换流程。
image.png
image.png

实例检测机制

除了需要检测是否能获取连接外,还要进行读写检测。
image.png

安全切换

同机房半同步复制保证传输延时的问题,当存在应用延时的备库提升为主库的情况时,需要等待日志应用完成;若复制中断,则不发生切换。
image.png

02数据备份

备份底层基于xtrabackup实现,通过EasyDO平台可做到一键全自动备份;云掣科技DBA团队根据用户实例数据量、运行情况、以及业务负荷峰谷规律制定备份策略。
image.png

03备份容灾

容灾通过EasyDO的异地备份功能实现,目前已成熟支持OSS存储或异地FTP服务器的接入。

备份任务完成后,备份文件实时上传至异地FTP服务器或OSS存储,实现数据多份存储,保障数据可靠性。
image.png

image.png

04运维监控

每台数据库主机独立安装EasyDO agent程序,实时采集备份信息以及主备复制信息,并实时上报给服务端。

服务端对上报数据进行统计分析并生成图表,云掣科技DBA团队基于EasyDO 平台进行每日数据备份巡检核查。

当数据备份或转储,以及复制状态出现异常时,会触发平台告警,提醒DBA团队进行排查处理。

EasyDO运维监控方案整体逻辑架构图如下:
image.png

恢复演练

为避免由于备份介质或文件损坏、备份数据不完整等,而导致将来可能存在的无法恢复数据的情况,云掣科技DBA团队制定恢复演练计划,定期开展演练并记录演练过程,以此确保备份文件可用性以及备份策略的正确性。通过模拟自然或人为的故障,来校验当前系统的数据安全级别。通过恢复演练提高未来可能出现的数据恢复过程的高效性和准确性。

01演练准备

服务器准备:操作系统、数据磁盘

软件包准备:MySQL安装,xtrabackup安装

02常规数据恢复

通过本地全备文件中的最新备份进行数据库实例级别恢复,以应对实例级别的故障,或者不可逆drop操作。将IDC机房备份文件传输至恢复服务器在恢复服务器进行全量数据恢复。

image.png

03时间点恢复
在本地binlog文件保存完好,且未出现物理或逻辑损坏的情况下。可将整个实例恢复至比指定备份文件更新的某个时间点状态。

  • 将备份文件以及备份时间点之后的binlog文件传输至恢复服务器。

  • 通过备份文件进行全量恢复。

  • 通过应用binlog日志进行增量恢复至故障前的时间点。

    image.png

04大型故障恢复
当出现重大服务器级别故障或者由于自然灾害导致的机房级别的故障,导致本地数据库无法访问以及备份文件丢失的情况时;可以通过异地备份文件进行数据恢复。

  • 从异地灾备机房下载备份文件至恢复服务器。
  • 恢复服务器本地进行全量数据恢复。

    image.png

写在最后

造成数据丢失和毁坏的原因主要有以下几个方面:

  • 程序设计设计缺陷
  • 系统硬件故障
  • 人为失误操作
  • 网络安全攻击
  • 机房故障

    如果没有做好备份,一旦数据损毁,会严重影响企业正常业务的开展,给生产造成巨大的损失。数据库备份及备库是企业数据高可靠及业务高可用的重要保障,也是预防主动性攻击的安全屏障。做好数据容灾是企业IT运维必不可少的重要环节。

了解更多数据库容灾方案

目录
相关文章
|
2月前
|
存储 安全 数据管理
数据安全之认识数据资产管理平台
随着企业数字化转型的深入,数据已经成为企业的重要资产。企业需要更加有效地管理和利用数据,以支持业务决策、优化运营和提高竞争力。本文让我们一起来认识数据资产及数据资产管理平台。
74 1
|
8月前
|
SQL 安全 网络安全
03-数据安全-ACA-01-数据安全中心_数据审计_数据脱敏_数据库防火墙(一)
03-数据安全-ACA-01-数据安全中心_数据审计_数据脱敏_数据库防火墙(一)
97 0
|
14天前
|
安全 算法 数据管理
数据安全产品之认识数据脱敏系统
数据脱敏是一种信息安全技术,它通过将敏感信息转换成无实际意义的数据,同时保持原始数据的格式、类型和业务逻辑,以确保数据在使用过程中的安全性和合规性。数据脱敏的目的是保护个人隐私和企业敏感信息,防止数据在非生产环境中泄露或被不当使用。
19 0
|
监控 安全 数据处理
《数据治理简易速速上手小册》第4章 数据安全与合规性(2024 最新版)
《数据治理简易速速上手小册》第4章 数据安全与合规性(2024 最新版)
29 0
|
22天前
|
机器学习/深度学习 自然语言处理 安全
数据安全目前面临的最大挑战是数据泄露和数据滥用的问题
【4月更文挑战第19天】数据安全目前面临的最大挑战是数据泄露和数据滥用的问题
29 1
|
5月前
|
运维 安全 容灾
亿格名片 | 小红书:「红线数据不外泄」准则下的数据安全“种草”攻略
小红书的安全是紧贴业务类型与发展阶段演进开展的,从内容安全再到技术安全、网络安全等方面不断迈进。区别于传统围绕防止黑客入侵的安全建设思路,保障数据安全以及管理访问控制是小红书高度关注的要点,防止红线数据外泄是终态目标。当下,随着数据安全等政策法规的落地,数据安全成了备受关注的领域,在实现我们防护红线数据不外泄的核心目标,且保障员工工作效率及体验,我们选择性地舍去了传统云桌面、沙箱之类比较“重”的工具。基于此,共创落地零信任数据安全体系,集成至内部安全办公系统中,替代3、4个安全软件,实现最小权限访问以及数据分类分级、流转、分发等全方位管控,这样既有效保护红线数据、又不影响员工效率与体验。
亿格名片 | 小红书:「红线数据不外泄」准则下的数据安全“种草”攻略
|
6月前
|
存储 安全
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——一、数据建设与治理的现状与诉求
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——一、数据建设与治理的现状与诉求
|
6月前
|
运维 分布式计算 监控
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——1. 用中台方法论构建与治理企业级好数据概览
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——1. 用中台方法论构建与治理企业级好数据概览
311 0
|
6月前
|
数据建模 供应链 定位技术
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系
105 0
|
6月前
|
数据采集 数据安全/隐私保护 监控
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——5. 资产治理:高价值数据,助力企业高质量发展
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——5. 资产治理:高价值数据,助力企业高质量发展
192 0