【高并发项目实战】工程模块化与活动会场静态化架构原理解析

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
文件存储 NAS,50GB 3个月
简介: 活动会场往往聚集着大量流量,千万甚是上亿级别很平常,我们做架构设计的时候,应该前端、后端、网关、配置等等都要考虑进去才是一个合格的架构,本文采取工程模块化与活动会场静态化做架构并讲解其设计原理。

前言

📫作者简介小明java问道之路,专注于研究计算机底层/Java/Liunx内核,就职于大型金融公司后端高级工程师,擅长交易领域的高安全/可用/并发/性能的架构设计📫

🏆CSDN专家博主/Java领域优质创作者、阿里云专家博主、华为云享专家、51CTO专家博主🏆

🔥如果此文还不错的话,还请👍关注、点赞、收藏三连支持👍一下博主~

本文导读

活动会场往往聚集着大量流量,千万甚是上亿级别很平常,我们做架构设计的时候,应该前端、后端、网关、配置等等都要考虑进去才是一个合格的架构,本文采取工程模块化与活动会场静态化做架构并讲解其设计原理。

一、接口数据静态化

工程中的接口数据静态化,对cms内容管理系统配置的动态模块数据通过消息推送到 searchfacade 系统,searchfacade 对动态模块配置的关键数据进行存储,异步解析配置处理,调用商品和活动基础系统获取商品以及活动优惠相关数据生成对应的模块动态 json 数据文件,生成的 json 数据上送到对应的nas服务。

1、CMS简析

页面动态化配置对运营、营销等方面有很多好处,一是在减少重复性、不必要的开发工作,避免了开发资源的争夺和漫长的排期等待。二是灵活的配置方案、便捷的配置工具,对技术的要求就相对较高了。

网络异常,图片无法展示
|

2、CMS设计特点

内容管理系统是互联网的新宠,对于内容管理,业界还没有一个统一的定义,不同的机构有不同的理解。

2.1、网站结构

CMS的功能简单来说可以表述如下: 一个内容管理系统是把一个网站的内容(文字,图片,等等)与网站的组件分离开来,可以将各个页面连接到一起,可以控制页面的显示。

2.2、模型管理

这里的模型是指数据模型,比如新闻、短消息之类的数据模型。一般的CMS都有一些内建的数据模型,可以对这类模型进行管理,同时CMS基本上都支持自定义数据模型。

2.3、标签

CMS一般都使用了显示模板,而模板的核心就是显示样式和标签。

2.4、静态化

一般CMS都具有将记录转变为HTML,即页面静态化的功能。

3、searchfacade系统解析

searchfacade系统是一个离线处理服务的系统,业务流程离线操作处理系统,顾名思义该系统主要功能是系统的搜索前端,需要保障稳定性和安全性。同时为内部人员(开发、运营、测试、产品等等)使用searchfacade 系统需要配置管理后台,searchfacade 系统对动态模块配置的关键数据进行存储,异步解析配置处理,系统内部设置有流程引擎服务器,主要是网关、拦截、监控等,离线处理服务器处理业务,WEB应用服务器,为了更加直观管理和方便操作。

流程引擎服务器连接有流程数据库,接入系统网关上报页面信息,离线处理服务器接收数据推送通知,例如活动信息、流量信息、用户信息等等,流程邮件数据库通过内外网隔离网关与流程邮件收发服务器实现,流程邮件收发服务器通过外部网络与外网应用服务器连接,把邮件存入流程邮件数据库中,并推送对应的处理人。

网络异常,图片无法展示
|

二、模块化和会场页面渲染解析

模块化和会场页面渲染,当用户请求对应会场页面时,cdn已有缓存会从cdn直接返回页面,如过无回源到对应node服务,node服务处理页面加载 cms 配置进行解析,解析到对应商城数据模块则从对应 nas 获取json数据进行页面渲染,渲染完后返回给到客户端之间展示,页面中未获取到预处理的数据则客户端调用接口做异常补偿渲染。

1、前端在解决工程化、业务效果评估上的具体实践与方法论

2、服务端在解决前端模块代码于服务端执行、隔离和性能优化上的具体实践与方法论

NAS卷:NAS(Apsara File Storage)是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。

网络异常,图片无法展示
|

三、数据一致性设计

数据一致性在一致性方面基于消息机制采取最终一致性,cms配置内容通过消息异步同步到searchfacade离线处理;商品和活动等基础数据如商家和运营进行新增和修改也通过消息异步通知到searchfacade,searchfacade接收到消息后比对对应商品和活动在配置中是否配置,如有数据则触发模块数据预处理逻辑重新生成json文件,并跟进热度情况及时刷新cdn;未确保消息丢失造成一致性问题,搭建canal伪装数据库备库监听 binglog+Kafka(一致性定义:若某条消息对client可见,那么即使Leader挂了,在新Leader上数据依然可以被读到) 消息作为更新补偿。

过期配置和热点配置处理:当用户请求页面时,客户端获取到页面后,会根据页面内容异步上报各模块访问信息(模块id+访问时间等),searchfacade接收到访问上报后会更新访问时间和统计周期内访问量已做权重加权,长时间无访问量的数据不做预处理,访问量大的热点模块预处理频次加快(始终保持数据更新的时效性)

网络异常,图片无法展示
|

四、系统交互结构

用户访问客户端,请求会场页面,这时CND分发到node服务,如果是入门数据刷新cnd,将数据刷新单NAS卷上,nas卷将活动等json数据回写node服务,node服务访问CMS获取会场配置,CMS将消息同步到searchfacade系统。

同时客户端上报页面访问信息到接入网关api,由网关系统访问searchfacade系统,searchfacade系统离线处理生成的json数据文件,推送到nas上

底层监听数据矩阵(下游系统、管理系统或商户端等)的更新消息的消息队列,监听数据库binlog变更,通过管道补偿消息。整体系统交互架构图,如下。

总结

活动会场往往聚集着大量流量,千万甚是上亿十亿级别,本文采取工程模块化与活动会场静态化做架构并讲解其设计原理,并在页面渲染、页面模块化、搜索和数据一致性上面的着重设计一一解析。

相关文章
|
17天前
|
存储 SQL 关系型数据库
MySQL进阶突击系列(03) MySQL架构原理solo九魂17环连问 | 给大厂面试官的一封信
本文介绍了MySQL架构原理、存储引擎和索引的相关知识点,涵盖查询和更新SQL的执行过程、MySQL各组件的作用、存储引擎的类型及特性、索引的建立和使用原则,以及二叉树、平衡二叉树和B树的区别。通过这些内容,帮助读者深入了解MySQL的工作机制,提高数据库管理和优化能力。
|
1月前
|
人工智能 前端开发 编译器
【AI系统】LLVM 架构设计和原理
本文介绍了LLVM的诞生背景及其与GCC的区别,重点阐述了LLVM的架构特点,包括其组件独立性、中间表示(IR)的优势及整体架构。通过Clang+LLVM的实际编译案例,展示了从C代码到可执行文件的全过程,突显了LLVM在编译器领域的创新与优势。
51 3
|
2月前
|
运维 持续交付 云计算
深入解析云计算中的微服务架构:原理、优势与实践
深入解析云计算中的微服务架构:原理、优势与实践
70 1
|
26天前
|
运维 监控 持续交付
微服务架构解析:跨越传统架构的技术革命
微服务架构(Microservices Architecture)是一种软件架构风格,它将一个大型的单体应用拆分为多个小而独立的服务,每个服务都可以独立开发、部署和扩展。
163 36
微服务架构解析:跨越传统架构的技术革命
|
29天前
|
消息中间件 架构师 数据库
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
45岁资深架构师尼恩分享了一篇关于分布式事务的文章,详细解析了如何在10Wqps高并发场景下实现分布式事务。文章从传统单体架构到微服务架构下分布式事务的需求背景出发,介绍了Seata这一开源分布式事务解决方案及其AT和TCC两种模式。随后,文章深入探讨了经典ebay本地消息表方案,以及如何使用RocketMQ消息队列替代数据库表来提高性能和可靠性。尼恩还分享了如何结合延迟消息进行事务数据的定时对账,确保最终一致性。最后,尼恩强调了高端面试中需要准备“高大上”的答案,并提供了多个技术领域的深度学习资料,帮助读者提升技术水平,顺利通过面试。
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
|
1月前
|
存储 Linux API
深入探索Android系统架构:从内核到应用层的全面解析
本文旨在为读者提供一份详尽的Android系统架构分析,从底层的Linux内核到顶层的应用程序框架。我们将探讨Android系统的模块化设计、各层之间的交互机制以及它们如何共同协作以支持丰富多样的应用生态。通过本篇文章,开发者和爱好者可以更深入理解Android平台的工作原理,从而优化开发流程和提升应用性能。
|
2月前
|
弹性计算 持续交付 API
构建高效后端服务:微服务架构的深度解析与实践
在当今快速发展的软件行业中,构建高效、可扩展且易于维护的后端服务是每个技术团队的追求。本文将深入探讨微服务架构的核心概念、设计原则及其在实际项目中的应用,通过具体案例分析,展示如何利用微服务架构解决传统单体应用面临的挑战,提升系统的灵活性和响应速度。我们将从微服务的拆分策略、通信机制、服务发现、配置管理、以及持续集成/持续部署(CI/CD)等方面进行全面剖析,旨在为读者提供一套实用的微服务实施指南。
|
2月前
|
SQL 数据可视化 数据库
多维度解析低代码:从技术架构到插件生态
本文深入解析低代码平台,涵盖技术架构、插件生态及应用价值。通过图形化界面和模块化设计,低代码平台降低开发门槛,提升效率,支持企业快速响应市场变化。重点分析开源低代码平台的优势,如透明架构、兼容性与扩展性、可定制化开发等,探讨其在数据处理、功能模块、插件生态等方面的技术特点,以及未来发展趋势。
|
30天前
|
SQL 存储 关系型数据库
MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
本文从MySQL的架构原理出发,详细介绍其SQL查询的全过程,涵盖客户端发起SQL查询、服务端SQL接口、解析器、优化器、存储引擎及日志数据等内容。同时提供了MySQL常用的管理命令参数集,帮助读者深入了解MySQL的技术细节和优化方法。
|
2月前
|
SQL 数据可视化 数据库
多维度解析低代码:从技术架构到插件生态
本文深入解析低代码平台,从技术架构到插件生态,探讨其在企业数字化转型中的作用。低代码平台通过图形化界面和模块化设计降低开发门槛,加速应用开发与部署,提高市场响应速度。文章重点分析开源低代码平台的优势,如透明架构、兼容性与扩展性、可定制化开发等,并详细介绍了核心技术架构、数据处理与功能模块、插件生态及数据可视化等方面,展示了低代码平台如何支持企业在数字化转型中实现更高灵活性和创新。
53 1

热门文章

最新文章