28个案例问题分析---11---生产环境事故带来的思考--事故

简介: 28个案例问题分析---11---生产环境事故带来的思考--事故

背景

为了防止上线出现错误,我们的项目准备了A,B,两套环境。两套环境依次进行上线,如果上线出现问题的话,第一时间进行环境切换以免造成问题。但是初期的时候,使用两个环境的过程中由于人为的原因出现了很多问题。


1.生产环境A,没有及时进行构建

2.2022年5月1日发版日志没有关联需求

3.B环境构建异常,没有及时处理

4.线上运行的是B环境,实际应该运行A环境。

5.系统跑一段时间,内存占用随着时间增加而剧增,大约一周左右时间内存到达不可用。

改进

其实上文所述,前四个问题都是可以从流程上进行避免的。虽然人做事一定会出错,但是我们可以通过制度进行管理。

例如:上线流程清单

通过统一的流程清单,对整个过程做好管理,尽量避免发生上述所说问题。

总结

做事的时候,必须从全局出发,有了全局去指导微观才能避免出现低级错误。人+制度+机器,更好的管理我们的流程

目录
相关文章
|
8月前
|
运维 监控 安全
应急实战 | 记一次日志缺失的挖矿排查
应急实战 | 记一次日志缺失的挖矿排查
122 0
|
10月前
|
数据安全/隐私保护
28个案例问题分析---10---对生产环境的敬畏--生产环境
28个案例问题分析---10---对生产环境的敬畏--生产环境
79 0
|
10月前
|
前端开发 NoSQL Redis
28个案例问题分析---012---发送调查问卷逻辑优化--代码优化
28个案例问题分析---012---发送调查问卷逻辑优化--代码优化
43 0
|
10月前
|
运维 监控 前端开发
记一次线上 bug 的排查分析过程及总结
记一次线上 bug 的排查分析过程及总结
记一次线上 bug 的排查分析过程及总结
|
10月前
|
Web App开发 开发框架 安全
503错误和500错误故障解决案例
记录下特殊的503和500报错场景
146 0
|
fastjson Java
我就往代码加了一行 log 日志,结果引发了 P1 级线上事故。。大家注意!
我就往代码加了一行 log 日志,结果引发了 P1 级线上事故。。大家注意!
131 0
我就往代码加了一行 log 日志,结果引发了 P1 级线上事故。。大家注意!
|
SQL 关系型数据库 MySQL
MySQL大无语事件:一次生产环境的死锁事故,看看我怎么排查
今天要分享的是在生产环境中出现的一次算得上比较诡异的死锁事件, 不过庆幸的是没有产生较大的业务损失.
|
安全 Java
Log4j高危漏洞复现及解决方案-----周瑜老师
Log4j高危漏洞复现及解决方案-----周瑜老师
179 0
Log4j高危漏洞复现及解决方案-----周瑜老师
|
测试技术
软件测试面试题:自动化遇到用例fail掉如何排查故障?
软件测试面试题:自动化遇到用例fail掉如何排查故障?
107 0
|
测试技术
软件测试面试题:1:做好测试用例设计工作的关键是什么? ------------------2:测试工具在测试工作中是什么地位? --------3:和用户共同测试(UAT测试)的注意点有哪些?
软件测试面试题:1:做好测试用例设计工作的关键是什么? ------------------2:测试工具在测试工作中是什么地位? --------3:和用户共同测试(UAT测试)的注意点有哪些?
387 0