详解网商银行“三地五中心”数据部署架构(5)

简介: 详解网商银行“三地五中心”数据部署架构(5)

业务流量的流向是渠道层→业务产品层→核心层→基础服务层,其中业务产品层各产品之间的业务隔离,数据也隔离,业务产品层和核心层可以按照用户信息进行分库分表,如图3-1-13所示。


数据库集群要结合应用架构、相关应用对业务的影响、分库分表的维度进行设计,减轻集群故障的影响。基础服务层中PaaS、分布式消息等进行独立集群部署;用户、产品进行独立集群部署并进行主备多集群保障;账务、交换等公共服务库独立部署;对存款、信贷、理财、支付结算等业务分别部署10套集群,分库均分到集群中,单集群故障影响面降低到10%。在业务集群分拆过程中,需各业务库统一分库维度,避免因分库维度不同导致的故障影响放大,例如:单集群中两个业务库维度不同,则该集群发生故障时业务的影响由10%增加到19%(即1-0.9×0.9)。


image.png


容器化部署


为什么要进行容器化部署


架构设计上为避免集群的单点,而将业务分摊到更多集群上。分布式数据库集群是由多台物理机构成的,在高可用方面集群存在多种单点,一方面集群强依赖“心跳”、系统租户等单点,另一方面,具备自动选主能力的分布式集群,遇到SQL导致进程中断或崩溃的情况。有限数量的物理机无法创建更多集群,而容器化技术可以在一定数量的物理机中创建出更多的数据库集群,待后面机器数量增加后,这些集群可以迁移到不同的物理硬件上,从而实现集群数量、容灾能力的提升。


如何进行容器化部署


如图3-1-14所示,容器化部署在物理机中按一定规格虚拟出容器,在容器中部署分布式数据库以增加集群数量。从ECS部署切换到ECS+容器化部署可按如下步骤实现灰度化。(1)在集群中增加容器化节点,并将库的一个备节点切至容器化节点,如图3-1-15所示。


image.png


(2)依次替换两个容器化节点,并将主节点切至容器节点。设置选主优先级,若ECS5崩溃,则数据库将ECS1的备节点选为主节点,如图3-1-16所示。


image.png


(3)此时,若出现单容器故障,仍可回滚到ECS上,运行一段时间检查无误后,将ECS1节点替换为容器化节点,如图3-1-17所示。


image.png


分区与容器化


分区与容器化既有联系又有区别,它们都为数据库的应用提供了扩展性。业务规模较小时,容器化可以创建多套集群,满足架构设计上对多集群的需求,此时表分区通常用不到。业务规模较大时,分区在集群数量不变的情况下提供容量的扩展性,容器化提供了更细粒度的管理能力。例如,可以将同一个业务链路的上下游的相同用户的分区放到同一台或者同一组物理机上,减小单台物理机上业务链路用户范围。分区是分布式数据库提供的能力,而容器化不属于数据库本身。

相关文章
|
3月前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
79 8
|
3月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
729 7
|
3月前
|
数据采集 搜索推荐 数据管理
数据架构 CDP 是什么?
数据架构 CDP 是什么?
122 2
|
5天前
|
存储 数据采集 人工智能
AllData数据中台架构全览:数据时代的智慧中枢
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
4月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
110 2
|
2月前
|
Serverless 决策智能 UED
构建全天候自动化智能导购助手:从部署者的视角审视Multi-Agent架构解决方案
在构建基于多代理系统(Multi-Agent System, MAS)的智能导购助手过程中,作为部署者,我体验到了从初步接触到深入理解再到实际应用的一系列步骤。整个部署过程得到了充分的引导和支持,文档详尽全面,使得部署顺利完成,未遇到明显的报错或异常情况。尽管初次尝试时对某些复杂配置环节需反复确认,但整体流程顺畅。
|
3月前
|
供应链 监控 安全
网络安全中的零信任架构:从概念到部署
网络安全中的零信任架构:从概念到部署
|
3月前
|
监控 安全 持续交付
构建高效的微服务架构:从设计到部署
构建高效的微服务架构:从设计到部署
43 1
|
3月前
|
Docker 微服务 容器
使用Docker Compose实现微服务架构的快速部署
使用Docker Compose实现微服务架构的快速部署
115 1
|
4月前
|
存储 大数据 数据处理
洞察未来:数据治理中的数据架构新思维
数据治理中的数据架构新思维对于应对未来挑战、提高数据处理效率、加强数据安全与隐私保护以及促进数据驱动的业务创新具有重要意义。企业需要紧跟时代步伐,不断探索和实践新型数据架构,以洞察未来发展趋势,为企业的长远发展奠定坚实基础。

热门文章

最新文章