《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.2 云上大型赛事技术演练——3.2.2 容灾演练及冬奥实践(下)

简介: 《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.2 云上大型赛事技术演练——3.2.2 容灾演练及冬奥实践(下)

《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.2 云上大型赛事技术演练——3.2.2 容灾演练及冬奥实践(上): https://developer.aliyun.com/article/1226503?groupCode=supportservice



规划演练方案:

为保证本次演练顺利进行,我们从多个维度进行充分准备工作。

组织维度:我们确定了阿里云支持侧/产研侧核心人员名单,演练期间全程会议。

业务维度:明确参与演练的核心信息系统架构,向相关开发商作演练说明,向开发商提前准备好临时权限,避免因无权限发生的演练延误。

演练方案流程如下表所述。

1684916142188.png


实施演练过程:

演练从19:00开始,至21:50结束,得益于前期的充分准备和演练过程中各位同学的及时支持,各产品切换和回切均比较顺利,各系统切换和验证工作基本符合预期。整体演练比原定演练计划提前3小时结束。

解决演练问题:

演练过程中发现政务云上有部分产品管控异常(不影响演练本身),均已明确原因并排期修复。针对客户侧问题也总结整理并提供建议,请客户侧做了优化。

客户侧问题如下:

HMS SLB只挂载了单个PDC区域的ECS,没有挂在SDC的ECS。

HMS,FBS,TMS,Info1AV没有设置开机服务自启动,导致服务无法自动启动。

FBS系统没有设置自动mount /dev/vdb1 /Data,导致服务无法自动启动。

发现HMS的三个SLB的健康检查状态异常,原因是由于异常的ECS内部还没有部署业务的服务。

阿里侧问题如下:

RDS的备份Button不可用,后联系RDS产研修复。

部分ECS的可用区的控制台显示异常,不能区分具体可用区,后联系ECS产研修复。

最终,通过两次的容灾演练,我们验证了阿里云组件切换功能正常,保证了系统的整体稳定性。

相关文章
|
数据采集 监控 机器人
浅谈网页端IM技术及相关测试方法实践(包括WebSocket性能测试)
最开始转转的客服系统体系如IM、工单以及机器人等都是使用第三方的产品。但第三方产品对于转转的业务,以及客服的效率等都产生了诸多限制,所以我们决定自研替换第三方系统。下面主要分享一下网页端IM技术及相关测试方法,我们先从了解IM系统和WebSocket开始。
351 4
|
SQL 搜索推荐 测试技术
【Havenask实践篇】完整的性能测试
Havenask是阿里巴巴智能引擎事业部自研的开源高性能搜索引擎,深度支持了包括淘宝、天猫、菜鸟、高德、饿了么在内几乎整个阿里的搜索业务。性能测试的目的在于评估搜索引擎在各种负载和条件下的响应速度、稳定性。通过模拟不同的用户行为和查询模式,我们可以揭示潜在的瓶颈、优化索引策略、调整系统配置,并确保Havenask在用户数量激增或数据量剧增时仍能保持稳定运行。本文举例对Havenask进行召回性能测试的一个简单场景,在搭建好Havenask服务并写入数据后,使用wrk对Havenask进行压测,查看QPS和查询耗时等性能指标。
66356 6
|
JavaScript 前端开发 算法
性能测试与调优
性能测试与调优
186 0
|
负载均衡 测试技术 应用服务中间件
性能测试常见瓶颈分析及调优方法总结
性能测试常见瓶颈分析及调优方法总结
730 0
|
5月前
|
测试技术 UED 开发者
性能测试报告-用于项目的性能验证、性能调优、发现性能缺陷等应用场景
性能测试报告用于评估系统性能、稳定性和安全性,涵盖测试环境、方法、指标分析及缺陷优化建议,是保障软件质量与用户体验的关键文档。
|
10月前
|
监控 测试技术 数据库连接
利用 RunnerGo 深度探索 API 性能测试:从理论到实践
API性能测试是保障应用稳定性和用户体验的关键环节。本文详细探讨了如何使用RunnerGo全栈测试平台进行高效API性能测试,涵盖测试计划创建、场景设计、参数配置到执行与分析全过程。通过电商平台促销活动案例,展示了高并发下的测试策略与优化措施,如代码与数据库查询优化、数据库连接池扩容、服务器资源配置调整及缓存策略实施等。最终显著提升系统性能,满足高并发需求。API性能测试需持续关注与优化,以适应业务发展和用户需求变化。
349 33
|
消息中间件 Java 测试技术
性能工具之Jmeter扩展函数及压测ActiveMQ实践
【5月更文挑战第18天】性能工具之Jmeter扩展函数及压测ActiveMQ实践
377 5
|
缓存 Java 测试技术
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
使用JMeter对项目各个接口进行压力测试,并对前端进行动静分离优化,优化三级分类查询接口的性能
738 10
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
|
存储 监控 安全
深聊性能测试,从入门到放弃之:如何对IO进行性能调优
深聊性能测试,从入门到放弃之:如何对IO进行性能调优
541 0
|
监控 Java 测试技术
实战派必看!Python性能测试中,JMeter与Locust如何助力性能调优
【8月更文挑战第6天】性能优化是软件开发的关键。本文介绍JMeter与Locust两款流行性能测试工具,演示如何用于Python应用的性能调优。JMeter可模拟大量用户并发访问,支持多种协议;Locust用Python编写,易于定制用户行为并模拟高并发。根据场景选择合适工具,确保应用在高负载下的稳定运行。
401 4