开源一套数据异地备份系统

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

简介

此系统解决游族2w+个数据库实例(包括mysql,redis,ssdb)的异地灾备

每天大概40w+个备份文件(99%的数据库实例进行每小时备份策略)

每天40TB+数据量进行异地传输

支持任意备份

  • 此系统只负责备份异地传输,不负责如何备份 具体备份脚本用户自行编写,只要按照要求把备份信息写入对应日志文件即可

备份脚本规范

1.每次都是全备的方式 (例如redis通过RDB每次都是全备)

2.全备+增量 的方式(例如Mysql通过Xtrabackup)

脚本日志生成规范:

    备份成功:back_log 第一行为ok,第二行为文件名

    备份失败:back_log 第一行为wrong,第二行为错误信息

如果是第2种方式,则在生成back_log的时候,同时生成一份相同的日志信息在last_all_log 日志中
  • 备份队列优先级控制,重要的备份优先拉取到异地

支持以下报警类型

  • 正常备份脚本出错(脚本退出码非0)

  • 超过规定时间未备份

  • 非法备份

针对报警做了一个chrome插件提醒的功能

支持后端集群线性扩展

  • 集群支持拉取数据调整,权重调整,集群容量可以通过简单的增加节点进行增加

  • 节点根据配置预留空间,超过预留空间自动暂停,暂停后只要集群中还尚有正常工作的节点,整个集群就能继续工作

支持多纬度数据分析

  • 元数据存储在ES,根据需要进行数据分析

一键恢复

  • 配合恢复脚本可以实现查询备份位置,下载,恢复一气呵成


本文转自lustlost 51CTO博客,原文链接:http://blog.51cto.com/lustlost/1788458,如需转载请自行联系原作者
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
存储 运维 监控
使用 NineData 快速构建企业容灾备份
使用 NineData 快速构建企业容灾备份。另外,NineData 也突破传统技术方案,推出实时日志备份:基于增量日志监听采集技术,实时获取并备份数据库中的变化数据,实现秒级 RPO 的备份能力,真正做到数据零丢失。有效保护企业的核心数据,构筑企业数据安全的最后一道防线。
302 1
使用 NineData 快速构建企业容灾备份
|
存储 弹性计算 运维
从备份升级到容灾,利用阿里云就可以做到的灾备方案
从备份升级到容灾,利用阿里云就可以做到的灾备方案
从备份升级到容灾,利用阿里云就可以做到的灾备方案
|
存储 Unix BI
数据备份和恢复方案(1)
数据备份和恢复方案(1)
231 0
|
存储 弹性计算 运维
云上备份
本文由开发者社区社群直播视频整理而来,分享灾备技术实战。
1200 0
云上备份
|
弹性计算 容灾 关系型数据库
一文教你学会数据库异地备份
数据库备份DBS提供数据库异地备份能力,满足PolarDB、RDS、ECS上自建库异地容灾需求。本文介绍ECS上自建数据库的异地备份。
1403 0
|
存储 弹性计算
混合云备份服务异地备份和恢复实践
阿里混合云备份服务是一套已经商业化的原生备份服务,提供了简单易用,并且高效安全的数据保护方案。阿里混合云备份服务能够定期的对指定关键数据进行增量的扫描,并对备份的数据采用了高效的重删加压缩的算法,在为关键数据保驾护航的同时又极大的减少了备份数据的存储空间占用,有效的节省成本。
2425 0
|
数据库
数据库异地备份及不还原快速查询备份集最佳实践
传统数据库异地备份和查询中,有两个大的痛点,一个是备份数据集的管理,另外一个是备份数据的查询,本方案将通过阿里云DBS、OSS、DLA的组合,搭建一整套数据库本地/异地自动化备份和管理的方案。在备份的基础上,实现分钟级全备数据集的查询,节省大量数据库还原时间。
3146 0
下一篇
无影云桌面