面向鲁棒的系统设计

简介:

前言

  • 本来打算叫做面向异常的编程的,后来觉得可能多的是系统健壮性方面,于是改名面向鲁棒的系统设计,所谓鲁棒,鲁棒是Robust的音译,也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。
  • 平时在做业务系统的时候,尤其是最近一年多接触的超复杂系统,发现处理线上问题所占的时间越来越多,总结发现,其实这些问题大都是之前欠下的债,至于为啥欠债,大多数情况下迫于项目或者日常的时间压力,很多设计从简,业务流程考虑主流程和分支流程,异常流程关注的少,不管三七二十一,功能先上线再说,如此便导致了恶性循环。
  • 由此,我们可以有的应对方案是啥呢,后面的项目,肯定也会是时间压力大的,那只能提升我们自身处理异常的能力了,也就是说在系统设计或者方案考虑的时候,就规避掉,提升应对经验,这样在同样的时间里面,就能够游刃有余,编写出更高质量的代码,进入良性循环阶段。

解决方案探索

  • 大多数的新手程序员,由于编码经验的缺失,导致在代码的保护方面做的不好,随着后续编码经验的积累以及采坑次数的增加,慢慢的会更多关注在健壮性方面;
  • 分享部分典型的案例,抽象一下,学习别人失败的教训,举一反三,来规避问题;

抽象的解决方案描述

  • 远程资源的调用,务必考虑失败或者超时的逻辑
  • 业务逻辑的测试,多多模拟异常的边界情况
  • 数据获取类的接口,需要评估目前的数据量,后续的增长情况,以及极端情况下的量大小
  • 列表类的接口或者数据展示,需要考虑数据的极限情况,最大是多少,并做好保护
  • 批量的数据,务必需要考虑异常情况,部分失败了怎么办;

典型案例

  • 本地缓存,加载失败,之后应用系统启动

    • java local cache在高并发系统中,使用的较多,把热点的数据或者元数据存储在JVM的heap区,从而实现低延迟,但是这里就涉及到缓存数据的加载了;
    • 常用的数据加载方案,一种是应用启动的时候,全部加载所有的数据,之后有增量变更的时候,再增量更新;另外一种是启动的时候不加载,在数据第一次访问的时候加载这个数据;
    • 这两种方式各有优劣,但是假如选择了第一种,就需要在逻辑里面考虑,假如缓存数据加载失败了,怎么办,是应用系统直接启动失败,还是代码逻辑里面冗余懒加载的机制,如果不考虑,又一个坑留下了;
  • 分布式缓存和数据库中的数据一致性考虑

    • 目前互联网级的系统,缓存基本上是架构上不可或缺的,引入缓存,必然就会面临数据一致性问题,举个例子,加入同一份数据,在DB和缓存中都有,这时候用户在页面操作,变更数据,需要变更缓存和DB,需要同时生效,如果update 的sql执行成功,之后缓存变更的时候超时了导致变更失败,这时候,整体应该返回用户失败,然后DB的数据回滚掉。
    • 如果是没有经验的开发,可能就DB更新,然后缓存更新,没有针对缓存更新失败或者超时做逻辑处理,本地值系统功能逻辑缺失导致;
  • 业务操作和数据库持久化以及消息发送的一致性考虑

    • 业务系统,在考虑异步解耦的时候,会引入消息系统,这时候面临了一个问题,就是业务操作和消息系统的一致性问题;
    • 业务操作和消息的发送,要能够满足事务的特性,例如借助二阶段提交来实现,然后消息系统来进行重试,从而实现最终一致性的要求;
  • 批量更新数据库的顺序问题导致的死锁

    • 假如这里有个方法,是List数据的更新,在并发情况下,如果更新的SQL不做排序,会导致死锁问题,这时候需要按照唯一主键,例如id来做排序,从而保证锁占用的时候的顺序性;
    • 至于为啥会有死锁问题,假如两个调用,含有相同的数据,例如都含有A和B,因为批量update占锁的时候,是行级占用,第一个线程是A-B顺序,第二个线程是B-A顺序,第一个线程占了A,第二个线程占了B,然后,然后就死锁了;
  • 页面点击操作,可能涉及到非常复杂的业务逻辑,是否考虑异步化,引入排队机制

    • 举个例子,点击一个确认按钮,背后很多业务逻辑,这时候需要用户等待的时间比较长;
    • 如果存在少量数据和大量数据共同存在,切大数据量是常态的情况下,可以考虑异步化操作;
    • 用户点击之后,存储任务在进行中的状态,然后后台多线程处理,处理完了之后,回写状态,页面刷新后看到最新的结果,如果不需要用户刷新就能看到结果,可以在页面做长连接或者ajax轮训;
  • 更新数据,例如更新十条,第六条出错了,是回滚还是继续处理

    • 批量操作,正常流程没有问题,一下子全部成功,但是假如其中的一条出现错误;
    • 两种方案,一种是所有的数据都回滚,然后提示用户修改数据,重新提交,另外一种就是成功的提交,失败的记录下来,让用户重试失败的数据,但是失败的逻辑一定要有;
  • 页面数据加载多个区块的数据,且部分区块获取数据的接口高延迟

    • 同步加载的时候,整个页面加载的速度会慢很多,所以在做数据加载设计的时候,就要区分掉;
    • 区块可以修改为异步ajax来进行加载数据;
  • 数据导出功能,如果是非常少的数据导出,则直接导出即可,但是数据量大,就会面临各种问题

    • 数据读取的时候,如果多于特定的量,是否可以分页或者多线程加载;
    • 导出数据的上限限制,如果没有上限,可能出现几百万的数据,用户点击导致,由于http请求的超时机制,用户可能会重复点击,此时服务器和数据库的压力会很大;
    • 数据回写,除了直接返回之外,是否可以写文件,然后直接提供给用户需要下载的文件链接;
    • 平时遇到的问题大多数是,系统刚刚上线,业务数据比较少,功能能够正常,但是随着业务发展,数据越来越多,导致的问题就是无法下载下来,而如果没有做上面的优化或者保护的话,这个功能使用就会出现异常;
目录
相关文章
|
9月前
【故障诊断】用于轴承故障诊断的性能增强时变形态滤波方法及用于轴承断层特征提取的增强数学形态算子研究(Matlab代码实现)
【故障诊断】用于轴承故障诊断的性能增强时变形态滤波方法及用于轴承断层特征提取的增强数学形态算子研究(Matlab代码实现)
109 0
|
27天前
|
安全 算法 C++
了解C++ 软件开发中的鲁棒性
了解C++ 软件开发中的鲁棒性
38 0
|
8月前
|
机器学习/深度学习 算法 机器人
【不确定非线性动力系统的优化算法】【动态集成系统优化与参数估计(DISOPE)技术】DISOPE + MOMENTUM + PARTAN 算法提高非线性动态系统的收敛性研究(Matlab代码实现)
【不确定非线性动力系统的优化算法】【动态集成系统优化与参数估计(DISOPE)技术】DISOPE + MOMENTUM + PARTAN 算法提高非线性动态系统的收敛性研究(Matlab代码实现)
|
8月前
|
编解码 算法 新能源
基于混沌集成决策树的电能质量复合扰动识别(Matlab代码实现)
基于混沌集成决策树的电能质量复合扰动识别(Matlab代码实现)
|
8月前
|
监控
蓄电池建模、分析与优化(Matlab代码实现)
蓄电池建模、分析与优化(Matlab代码实现)
102 0
|
9月前
|
供应链
【鲁棒优化】微电网鲁棒优化定价方案研究(Matlab代码实现)
【鲁棒优化】微电网鲁棒优化定价方案研究(Matlab代码实现)
【鲁棒优化】微电网鲁棒优化定价方案研究(Matlab代码实现)
|
9月前
|
机器学习/深度学习
基于蒙特卡罗法评估智能电网可靠性研究(Matlab代码实现)
基于蒙特卡罗法评估智能电网可靠性研究(Matlab代码实现)
|
9月前
|
运维 监控 算法
基于典型相关分析的故障检测和过程监控算法研究(Matlab代码实现)
基于典型相关分析的故障检测和过程监控算法研究(Matlab代码实现)
|
9月前
对灵敏度分析技术进行建模(Matlab代码实现
对灵敏度分析技术进行建模(Matlab代码实现
153 0
|
9月前
|
机器学习/深度学习 传感器 算法
基于力学分析的系泊系统设计附matlab代码
基于力学分析的系泊系统设计附matlab代码

热门文章

最新文章