详解网商银行“三地五中心”数据部署架构(3)

简介: 详解网商银行“三地五中心”数据部署架构(3)

从“两地三中心”到“三地五中心”的升级


从“两地三中心”升级到“三地五中心”,是基础设施的重大升级,不只是简单的数据副本的增加。其带来的架构改善有以下几点。


(1)数据库具备了城市级容灾能力。


(2)应用具备了城市级容灾能力,应用的部署可以实现城市1与城市2双中心的模式,应用的容灾能力增强。


(3)数据库的容量提升,只读副本数量增加,服务能力增强。这种升级同时也对原数据中心架构引入了新的挑战。


(1)跨城带来的耗时增加,对业务的批处理、链路整体耗时、热点行等产生影响。


(2)数据同步副本数增加,原有机房间的网络需扩容。


(3)数据同步副本数增加,原有租户的硬件资源扩容。在架构升级的过程中,需始终保持容灾能力不降低:任何单个机房出现故障后,集群依然可用,且除了主库所在城市1之外的其他城市机房出现故障,集群依然可用,依然能够提供服务。其过程如下。


(1)初始状态,如图3-1-7所示。


image.png


(2)城市2新增一个副本,该副本用于数据异步式同步,不参与一致性投票,该副本对原集群结构稳定性无影响。参与投票的依然是机房1、机房2、机房3,容灾策略与“两地三中心”一致,数据同步耗时无增加。“两地四副本”模式如图3-1-8所示。


image.png


(3)城市3新增一个副本,该副本数据实时同步,参与一致性投票,但需限定在选主时不能作为主库,以避免耗时的增加,因应用部署还在城市1。在这种模式下,城市2、城市3的单个城市故障不影响集群的稳定性。“三地五中心”模式如前面的图3-1-1所示。


(4)城市2的不参与投票副本切换为实时同步,并开始参与投票,完成“三地五中心”的部署。在任意一个城市的机房出现故障时,都能够实现容灾切换。以上过程中,如果机房5不选择部署全量副本,只是参与投票的日志副本,那么建设周期会较短,可以直接在城市2建设全量副本,完成后立即进行机房5的配置。



应用耗时分析与优化


“三地五中心”带来的事务耗时增加了跨城耗时部分,会对业务全链路耗时、热点行、批处理产生影响,需要在架构升级前进行耗时分析,在升级后进行耗时的监控与验证。


基于分布式的trace中间件,使用实时计算对链路上的应用日志、数据库日志进行解析,分析出业务链路的不同场景中的库依赖、SQL模板、SQL执行顺序与次数。然后按照“三地五中心”建设的库关联、应用部署城市,分析会增加耗时的SQL,从而计算出整体链路的耗时增加。根据评估结果进行耗时的优化,可考虑的方向有:缓存、应用部署、SQL的优化,以及异步化改造等。


热点行也会因为单次事务的耗时增加导致锁冲突加剧,热点行问题更加明显。可以在建设完成后进行压测,识别热点行,并有针对性地解决热点问题。


单次耗时的增加,也会导致批处理整体完成的时间延长,需要评估是否会超出业务可接受的完成时间。可考虑的优化方案有调整批处理分组数、调整锁粒度等。

相关文章
|
4月前
|
存储 BI Shell
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
531 2
|
4月前
|
SQL 缓存 前端开发
如何开发进销存系统中的基础数据板块?(附架构图+流程图+代码参考)
进销存系统是企业管理采购、销售与库存的核心工具,能有效提升运营效率。其中,“基础数据板块”作为系统基石,决定了后续业务的准确性与扩展性。本文详解产品与仓库模块的设计实现,涵盖功能概述、表结构设计、前后端代码示例及数据流架构,助力企业构建高效稳定的数字化管理体系。
|
3月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
2月前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
159 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
1月前
|
存储 监控 安全
132_API部署:FastAPI与现代安全架构深度解析与LLM服务化最佳实践
在大语言模型(LLM)部署的最后一公里,API接口的设计与安全性直接决定了模型服务的可用性、稳定性与用户信任度。随着2025年LLM应用的爆炸式增长,如何构建高性能、高安全性的REST API成为开发者面临的核心挑战。FastAPI作为Python生态中最受青睐的Web框架之一,凭借其卓越的性能、强大的类型安全支持和完善的文档生成能力,已成为LLM服务化部署的首选方案。
|
2月前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
3月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
143 0
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
|
3月前
|
SQL 数据采集 数据处理
终于有人把数据架构讲清楚了!
本文深入浅出地解析了数据架构的核心逻辑,涵盖其定义、作用、设计方法及常见误区,助力读者构建贴合业务的数据架构。
|
4月前
|
数据采集 存储 分布式计算
一文读懂数据中台架构,高效构建企业数据价值
在数字化时代,企业面临数据分散、难以统一管理的问题。数据中台架构通过整合、清洗和管理数据,打破信息孤岛,提升决策效率。本文详解其核心组成、搭建步骤及常见挑战,助力企业高效用数。
1683 24
|
3月前
|
缓存 前端开发 BI
如何开发门店业绩上报管理系统中的门店数据板块?(附架构图+流程图+代码参考)
门店业绩上报管理是将门店营业、动销、人效等数据按标准化流程上报至企业中台或BI系统,用于考核、分析和决策。其核心在于构建“数据底座”,涵盖门店信息管理、数据采集、校验、汇总与对接。实现时需解决数据脏、上报慢、分析无据等问题。本文详解了实现路径,包括系统架构、数据模型、业务流程、开发要点、三大代码块(数据库、后端、前端)及FAQ,助你构建高效门店数据管理体系。

热门文章

最新文章

下一篇
oss云网关配置