MangoDB的用户有福了!阿里云宣布开源MongoShake 支持跨机房容灾

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介: 阿里云宣布正式开源MongoDB容灾和多活解决方案MongoShake

6月29日,阿里云宣布正式开源基于MongoDB的容灾和多活解决方案平台--MongoShake(github地址),该方案可实现跨机房数据同步,最高处理QPS可达50万,解决过去灾备不灵活、单点写入等问题,实现跨机房容灾和异地多活业务,大幅减轻了运维压力。

MongoShake曾在各类大促场景下“大展身手”,以高德地图的国庆大促为例,MongoShake帮助高德解决了多机房容灾高可用需求,实现三机房全量中心,解放了测试、运维人员的压力,满足业务灵活切换的需求,支撑了国庆期间峰值流量下业务的稳定运行。

同时,作为一个通用型平台服务,阿里云MongoShake还可打通各个闭环节点的通道,灵活对接以适应不同场景,例如日志订阅、数据中心同步、监控审计等。此番开源,将使MongoDB在数据库领域发挥更大的作用。

跨机房容灾、异地多活,MongoShake解决多数据中心两大难题

在当前的数据库系统生态中,大部分系统都支持多个节点实例间的数据同步机制,如Mysql Master/Slave主从同步,Redis AOF主从同步等,MongoDB更是支持3节点及以上的副本集同步。

因此,跨单元、跨数据中心的数据同步,在业务层就显得格外重要。为了解决当前MongoDB对跨数据中心同步的局限性,阿里云研发了MongoShake解决方案,可应用在实例间同步,机房间、跨数据中心同步等场景,满足灾备和多活需求。

78d03f656cc31a3dd0bb34ca54d6a4f7fa7324fc

MongoShake灾备、多活部署

MongoShake的开源为目前广泛使用MongoDB数据库的开发者们提供了绝佳的解决方案,为了进一步提高传输性能,阿里云采取了多端拉取、并行执行、冲突检测、异步优化等多种设计思路,满足开发者的性能需求。

此外,MongoShake还支持对数据库DML和DDL语言的同步,从底层保证数据的一致性。关于MongoShake详细设计文档和开源地址可以参考下面链接。


MongoShake 详细设计文档地址:https://yq.aliyun.com/articles/603329

MongoShake Github地址:https://github.com/aliyun/mongo-shake

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
3月前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
|
3月前
|
监控 Cloud Native 关系型数据库
【跨区域PolarDB-MySQL主备互通】:揭秘如何跨越万里实现数据无缝同步,打造坚不可摧的灾备体系!
【8月更文挑战第20天】阿里云PolarDB是一款兼容MySQL协议的云原生数据库服务,提供高性能与高可用性。本文介绍如何在PolarDB-MySQL中实现跨区域主备同步。首先创建主备两个集群,接着通过MySQL复制功能配置同步:获取主节点复制信息、配置备节点复制并启动复制进程。最后,通过`SHOW SLAVE STATUS\G;`监控复制状态,确保数据同步正常。此方法可提升数据的可靠性和可用性,需考虑网络条件对性能的影响。
115 0
|
canal 存储 算法
跨系统实时同步数据解决方案
数据量太大,单存储节点存不下,就只能把数据分片存储。
1207 0
|
6月前
|
存储 关系型数据库 分布式数据库
【PolarDB开源】PolarDB高可用架构解析:确保业务连续性的关键设计
【5月更文挑战第22天】阿里云PolarDB是一款高可用、高性能的云原生数据库,采用分布式共享存储架构实现计算与存储分离。通过主从复制保证数据实时同步,当主节点故障时,从节点能快速接管。此外,PolarDB提供自动故障转移和数据备份恢复功能,确保业务连续性和数据安全性。一个简单的Python SDK使用示例展示了查询数据的过程。总之,PolarDB通过多种机制保障了企业在异常情况下的服务稳定和数据完整性。
268 5
|
JSON 算法 前端开发
YODA倚天应用迁移神器,让跨架构应用迁移变得简单高效
YODA(Yitian Optimal Development Assistant,倚天应用迁移工具)旨在帮助用户更加高效、便捷地实现跨平台、跨结构下的应用迁移,大幅度缩短客户在新平台上端到端性能验证所需的人力和时间,使得客户更加专注于应用本身算法的优化,协同客户实现降本增效。
|
关系型数据库 分布式数据库 PolarDB
沉浸式学习PostgreSQL|PolarDB 7: 移动社交、多媒体、内容分发、游戏业务场景, 跨地域多机房的智能加速
在移动社交、多媒体、内容分发业务场景中, 如果用户要交互的内容都在中心网络(假设深圳), 现在用户流动非常频繁, 当用户从深圳出差到北京, 因为网络延迟急剧增加, 他的访问体验就会变得非常差. 网络延迟对游戏业务的影响则更加严重. 为了解决这个问题, 企业会将业务部署在全国各地, 不管用户在哪里出差, 他都可以就近访问最近的中心. 由于标记用户的只有IP地址, 怎么根据用户的接入IP来判断他应该访问哪个中心呢? 通过这个实验, 大家可以了解到在数据库中如何存储IP地址范围和各中心IDC的映射关系, 以及如何根据用户的来源IP(接入IP)来判断他应该去哪个中心IDC访问.
163 0
|
6月前
|
存储 安全 关系型数据库
云数据库和传统数据库之间的迁移和集成有哪些挑战?
云数据库和传统数据库之间的迁移和集成有哪些挑战?
81 0
|
6月前
|
SQL Oracle 关系型数据库
某运营商核心对客系统迁移PolarDB实践
数据库迁云是一个复杂工程,对于传统企业来说,数据库不仅沉淀业务数据,还沉淀了大量业务逻辑,数据迁移过程复杂,风险高。本文借用客户核心系统数据库迁移到PolarDB为例,介绍数据库迁移过程中遇到的挑战、对应的解决方案,供大家参考。
242 0
某运营商核心对客系统迁移PolarDB实践
|
存储 算法 关系型数据库
阿里云数据库开源重磅发布:PolarDB三节点高可用的功能特性和关键技术
在3月2日的阿里云开源 PolarDB 企业级架构发布会上,阿里云数据库技术专家孟勃荣 带来了主题为《PolarDB 三节点高可用》的精彩演讲。三节点高可用功能主要为 PolarDB 提供金融级强一致性、高可靠性的跨机房复制能力,基于分布式共识算法同步数据库物理日志,自动failover,任意节点故障后数据零丢失。本议题主要介绍PolarDB三节点高可用的功能特性和关键技术。
阿里云数据库开源重磅发布:PolarDB三节点高可用的功能特性和关键技术
|
存储 编解码 JSON
Elasticsearch 跨网络、跨集群同步选型指南
1、两个同步实战问题 问题1:我想从目前的阿里云上6.7版本的es商业版,迁移到自己的7.10的自建环境,证书不一样,无法远程 无法ccr,有没有实时同步的工具呀?还是只能用logstash ? 问题2:es 2个索引数据同步有什么组件或者方案吗?
1131 0
Elasticsearch 跨网络、跨集群同步选型指南