生产环境重大事故
一：背景介绍
对于arpro这个项目。生产环境上布置了两套环境，一套A环境，一套B环境。
这样做的意义是如果线上A环境出现意料之外的问题（A环境大面积崩溃不可用，A环境服务器出现问题等等）我们能够立即切换B环境供用户进行使用。
A环境与B环境是完成一致的。
这一次arpro生产环境出现好几个重大的问题。
1.生产A环境没有及时进行构建，导致生产A环境与生产B环境版本不一致
2.禅道上2022年5月1日的发版日志没有关联需求，导致发版流程上出现疏漏，会影响此后的发版流程。
3.B环境构建异常，没有及时进行处理，导致将影响项目的及时发版。
4.目前线上运行的是B环境，实际应该运行A环境；没有及时做升级的切换。
5.系统跑一段时间，内容占用会随时间的增加而剧增；大约在一周左右时间内存会达到系统不可用（这里的一周时间说的是现在的业务量，可能随着业务量的增加时间会缩短）
二：思路&方案
上面问题1—4都是偏向于生产发版的问题 ，问题5偏向于技术问题。
对于上面的五个问题，我们都需要清楚生产环境不是儿戏需要有足够的责任心。需要对生产环境有一份敬畏之心。
对于问题1-4的思路&方案
在明确生产环境有两套环境的价值和意义；生产环境的重要性的基础上。
流程制度上
- 有严格的上线流程，完成一项勾选一项
- 有严格的上线审批流程，审批通过之后才能进行后续的上线操作
- 有严格的闭环流程（如环境检测，上线后的测试）
- 只有具有一定职级的人可以操作生产环境的构建
上线流程示例：
对于问题5的思路&方案
一般的原因是代码中存在不合理的情况，导致创建出了大对象，对象一直存在着引用导致GC无法进行回收，随着时间这些无法被回收的对象越来越多导致内存逐渐上升。
对于这类问题需要具体分析可以通过打印jvm快照的方式生成dump文件，可以使用jdk1.8自带的内存分析工具Jvisual进行内存分析。寻找照成内存上升的原因。
四：总结
- 对生产环境有一份敬畏之心
- 通过一定的形式来保证内容
- 通过划分角色来进行权限隔离
