面向鲁棒的系统设计

简介:

前言

  • 本来打算叫做面向异常的编程的,后来觉得可能多的是系统健壮性方面,于是改名面向鲁棒的系统设计,所谓鲁棒,鲁棒是Robust的音译,也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。
  • 平时在做业务系统的时候,尤其是最近一年多接触的超复杂系统,发现处理线上问题所占的时间越来越多,总结发现,其实这些问题大都是之前欠下的债,至于为啥欠债,大多数情况下迫于项目或者日常的时间压力,很多设计从简,业务流程考虑主流程和分支流程,异常流程关注的少,不管三七二十一,功能先上线再说,如此便导致了恶性循环。
  • 由此,我们可以有的应对方案是啥呢,后面的项目,肯定也会是时间压力大的,那只能提升我们自身处理异常的能力了,也就是说在系统设计或者方案考虑的时候,就规避掉,提升应对经验,这样在同样的时间里面,就能够游刃有余,编写出更高质量的代码,进入良性循环阶段。

解决方案探索

  • 大多数的新手程序员,由于编码经验的缺失,导致在代码的保护方面做的不好,随着后续编码经验的积累以及采坑次数的增加,慢慢的会更多关注在健壮性方面;
  • 分享部分典型的案例,抽象一下,学习别人失败的教训,举一反三,来规避问题;

抽象的解决方案描述

  • 远程资源的调用,务必考虑失败或者超时的逻辑
  • 业务逻辑的测试,多多模拟异常的边界情况
  • 数据获取类的接口,需要评估目前的数据量,后续的增长情况,以及极端情况下的量大小
  • 列表类的接口或者数据展示,需要考虑数据的极限情况,最大是多少,并做好保护
  • 批量的数据,务必需要考虑异常情况,部分失败了怎么办;

典型案例

  • 本地缓存,加载失败,之后应用系统启动

    • java local cache在高并发系统中,使用的较多,把热点的数据或者元数据存储在JVM的heap区,从而实现低延迟,但是这里就涉及到缓存数据的加载了;
    • 常用的数据加载方案,一种是应用启动的时候,全部加载所有的数据,之后有增量变更的时候,再增量更新;另外一种是启动的时候不加载,在数据第一次访问的时候加载这个数据;
    • 这两种方式各有优劣,但是假如选择了第一种,就需要在逻辑里面考虑,假如缓存数据加载失败了,怎么办,是应用系统直接启动失败,还是代码逻辑里面冗余懒加载的机制,如果不考虑,又一个坑留下了;
  • 分布式缓存和数据库中的数据一致性考虑

    • 目前互联网级的系统,缓存基本上是架构上不可或缺的,引入缓存,必然就会面临数据一致性问题,举个例子,加入同一份数据,在DB和缓存中都有,这时候用户在页面操作,变更数据,需要变更缓存和DB,需要同时生效,如果update 的sql执行成功,之后缓存变更的时候超时了导致变更失败,这时候,整体应该返回用户失败,然后DB的数据回滚掉。
    • 如果是没有经验的开发,可能就DB更新,然后缓存更新,没有针对缓存更新失败或者超时做逻辑处理,本地值系统功能逻辑缺失导致;
  • 业务操作和数据库持久化以及消息发送的一致性考虑

    • 业务系统,在考虑异步解耦的时候,会引入消息系统,这时候面临了一个问题,就是业务操作和消息系统的一致性问题;
    • 业务操作和消息的发送,要能够满足事务的特性,例如借助二阶段提交来实现,然后消息系统来进行重试,从而实现最终一致性的要求;
  • 批量更新数据库的顺序问题导致的死锁

    • 假如这里有个方法,是List数据的更新,在并发情况下,如果更新的SQL不做排序,会导致死锁问题,这时候需要按照唯一主键,例如id来做排序,从而保证锁占用的时候的顺序性;
    • 至于为啥会有死锁问题,假如两个调用,含有相同的数据,例如都含有A和B,因为批量update占锁的时候,是行级占用,第一个线程是A-B顺序,第二个线程是B-A顺序,第一个线程占了A,第二个线程占了B,然后,然后就死锁了;
  • 页面点击操作,可能涉及到非常复杂的业务逻辑,是否考虑异步化,引入排队机制

    • 举个例子,点击一个确认按钮,背后很多业务逻辑,这时候需要用户等待的时间比较长;
    • 如果存在少量数据和大量数据共同存在,切大数据量是常态的情况下,可以考虑异步化操作;
    • 用户点击之后,存储任务在进行中的状态,然后后台多线程处理,处理完了之后,回写状态,页面刷新后看到最新的结果,如果不需要用户刷新就能看到结果,可以在页面做长连接或者ajax轮训;
  • 更新数据,例如更新十条,第六条出错了,是回滚还是继续处理

    • 批量操作,正常流程没有问题,一下子全部成功,但是假如其中的一条出现错误;
    • 两种方案,一种是所有的数据都回滚,然后提示用户修改数据,重新提交,另外一种就是成功的提交,失败的记录下来,让用户重试失败的数据,但是失败的逻辑一定要有;
  • 页面数据加载多个区块的数据,且部分区块获取数据的接口高延迟

    • 同步加载的时候,整个页面加载的速度会慢很多,所以在做数据加载设计的时候,就要区分掉;
    • 区块可以修改为异步ajax来进行加载数据;
  • 数据导出功能,如果是非常少的数据导出,则直接导出即可,但是数据量大,就会面临各种问题

    • 数据读取的时候,如果多于特定的量,是否可以分页或者多线程加载;
    • 导出数据的上限限制,如果没有上限,可能出现几百万的数据,用户点击导致,由于http请求的超时机制,用户可能会重复点击,此时服务器和数据库的压力会很大;
    • 数据回写,除了直接返回之外,是否可以写文件,然后直接提供给用户需要下载的文件链接;
    • 平时遇到的问题大多数是,系统刚刚上线,业务数据比较少,功能能够正常,但是随着业务发展,数据越来越多,导致的问题就是无法下载下来,而如果没有做上面的优化或者保护的话,这个功能使用就会出现异常;
目录
相关文章
|
决策智能
运筹优化学习23:单因素方差分析理论及Matlab代码实现(下)
运筹优化学习23:单因素方差分析理论及Matlab代码实现
|
定位技术 决策智能
运筹优化学习23:单因素方差分析理论及Matlab代码实现(上)
运筹优化学习23:单因素方差分析理论及Matlab代码实现
运筹优化学习23:单因素方差分析理论及Matlab代码实现(上)
|
机器学习/深度学习 传感器 算法
基于力学分析的系泊系统设计附matlab代码
基于力学分析的系泊系统设计附matlab代码
|
测试技术
正交分析法设计理论及实践
在黑盒用例设计方法中有一个大家耳熟能详的正交分析法,却鲜有人知 “Pairwise”设计理念。本文将介绍正交分析法设计理论及实践。
|
机器学习/深度学习 算法 测试技术
bioRxiv | 生物发现和设计的不确定性学习
bioRxiv | 生物发现和设计的不确定性学习
203 0
bioRxiv | 生物发现和设计的不确定性学习
基于遗传算法的配电网重构研究(Matlab代码实现)
基于遗传算法的配电网重构研究(Matlab代码实现)
|
供应链 算法 安全
【不确定性研究】基于信息间隙决策理论的综合能源系统优化调度研究【改进粒子群优化算法求解】(Matlab代码实现)
【不确定性研究】基于信息间隙决策理论的综合能源系统优化调度研究【改进粒子群优化算法求解】(Matlab代码实现)
配电网可靠性评估(二)—序贯蒙特卡洛模拟法的matlab实现
电力系统的可靠性研究是相关领域的热点问题。根据研究对象的不同,又可分为发电系统的可靠性,输电系统的可靠性和配电系统的可靠性。配电网在电力系统中处于最末端的位置,直接和用户相连,一旦出现故障情况,就会在用户侧表现为停电事故。因此对配电网的可靠性评估有着重大意义。
|
机器学习/深度学习 传感器 算法
【配电网重构】基于粒子群算法的配电网重构问题研究附matlab代码
【配电网重构】基于粒子群算法的配电网重构问题研究附matlab代码
|
存储 算法 调度
基于模型预测算法的混合储能微电网双层能量管理系统研究(Matlab代码实现)
基于模型预测算法的混合储能微电网双层能量管理系统研究(Matlab代码实现)
147 0

热门文章

最新文章