详解网商银行“三地五中心”数据部署架构(4)

简介: 详解网商银行“三地五中心”数据部署架构(4)

数据访问路由策略


由于单机房的容量限制以及容灾能力不足,多机房的应用与数据库部署一般有两种模式:扩展模式与镜像模式。扩展模式按照业务把应用进行分类,把相互依赖的应用部署在同一个机房中,实现业务之间的隔离。但必然存在一些业务需要多机房同时提供服务,这种模式本质上是把一个机房拆分并部署为多个机房。镜像模式下每个机房都部署相同的应用与数据库,每个机房都具备全量的业务提供能力,按照比例进行流量的调拨。运行时机房只承担一部分业务,但必然存在一些基础应用和数据无法按照流量进行比例划分,需要机房间的数据共享与同步。


网商银行在进行单元化架构改造时,根据业务情况,结合两种模式,把数据划分为三类。(1)可进行流量调拨的数据,可以按照一定的规则进行等比例划分,实现每个机房只需要一部分数据。对应用进行镜像化部署,应用对于数据的访问在同一个机房内可以完成。应用与数据的访问情况如图3-1-9所示,其中每个数据库在其他机房也都有副本,以实现容灾能力。 


image.png


(2)不可进行流量调拨的全局数据,数据库的主节点在某个机房,其他机房和城市进行数据访问会出现跨机房与跨城市情况,耗时增加较多。应用与数据的访问情况如图3-1-10所示,在流量调拨时,同机房调用优先进行。


(3)全局数据的耗时涉及跨城情况时,存在业务不可接受的情况。可进行流量调拨的数据分布在其他城市时,应用的访问也会出现跨城情况。这部分数据会同步到一个独立库中,该库在每个城市都有部署。全局城市级数据模式下应用与数据的访问如图3-1-11所示,在进行流量调拨时同机房调用优先进行。


image.png


image.png


综合考虑分布式数据库主节点与副本的读写分离、应用与库的部署情况、数据库自身的负载等,应用对于数据的访问优先级如下:同机房正常状态→同城正常状态→同城高负载状态→跨城正常状态→跨城高负载状态。其中三类数据在正常和容灾场景中都按照以上策略,通过该策略可降低数据访问的耗时,实现数据库的负载均衡。


多集群部署


网商银行的数据库集群部署经历了两个阶段,从建行之初的单库、分库少量集群,通过按业务的垂直拆分、分库的水平拆分,发展到现在的用户、产品、业务、账务、交换、公共等多套集群,保障了业务快速增长过程中的高可用。


建行之初,业务分库集群有5套,用于支撑业务的分库,分库方式包括10分库、20分库、100分库,分配到各分集群的策略也有两种:所有分库集中于单个集群或均分到5套集群。这种方式可以节约运维成本,但随着业务的快速增长,单集群故障影响全行业务的情况越来越不可接受。


网商银行应用采用微服务架构,L1层的架构如图3-1-12所示。 


image.png



相关文章
|
4月前
|
存储 BI Shell
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
531 2
|
4月前
|
SQL 缓存 前端开发
如何开发进销存系统中的基础数据板块?(附架构图+流程图+代码参考)
进销存系统是企业管理采购、销售与库存的核心工具,能有效提升运营效率。其中,“基础数据板块”作为系统基石,决定了后续业务的准确性与扩展性。本文详解产品与仓库模块的设计实现,涵盖功能概述、表结构设计、前后端代码示例及数据流架构,助力企业构建高效稳定的数字化管理体系。
|
3月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
2月前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
159 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
1月前
|
存储 监控 安全
132_API部署:FastAPI与现代安全架构深度解析与LLM服务化最佳实践
在大语言模型(LLM)部署的最后一公里,API接口的设计与安全性直接决定了模型服务的可用性、稳定性与用户信任度。随着2025年LLM应用的爆炸式增长,如何构建高性能、高安全性的REST API成为开发者面临的核心挑战。FastAPI作为Python生态中最受青睐的Web框架之一,凭借其卓越的性能、强大的类型安全支持和完善的文档生成能力,已成为LLM服务化部署的首选方案。
|
2月前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
3月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
143 0
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
|
3月前
|
SQL 数据采集 数据处理
终于有人把数据架构讲清楚了!
本文深入浅出地解析了数据架构的核心逻辑,涵盖其定义、作用、设计方法及常见误区,助力读者构建贴合业务的数据架构。
|
4月前
|
数据采集 存储 分布式计算
一文读懂数据中台架构,高效构建企业数据价值
在数字化时代,企业面临数据分散、难以统一管理的问题。数据中台架构通过整合、清洗和管理数据,打破信息孤岛,提升决策效率。本文详解其核心组成、搭建步骤及常见挑战,助力企业高效用数。
1683 24
|
3月前
|
缓存 前端开发 BI
如何开发门店业绩上报管理系统中的门店数据板块?(附架构图+流程图+代码参考)
门店业绩上报管理是将门店营业、动销、人效等数据按标准化流程上报至企业中台或BI系统,用于考核、分析和决策。其核心在于构建“数据底座”,涵盖门店信息管理、数据采集、校验、汇总与对接。实现时需解决数据脏、上报慢、分析无据等问题。本文详解了实现路径,包括系统架构、数据模型、业务流程、开发要点、三大代码块(数据库、后端、前端)及FAQ,助你构建高效门店数据管理体系。

热门文章

最新文章

下一篇
oss云网关配置