金融、电信与互联网合计贡献了国内超过 65% 的 AIOps 需求,但前两类与互联网的落地路径差别很大。差别不在模型精度,而在三个约束的权重排序:互联网看重定位速度与人力成本,强监管行业看重数据是否留在本地、决策能否被审计、故障能否在分钟级恢复。
一、三个约束不是并列,而是链式耦合
把三条约束拆开看:
- 数据驻留:核心数据与交易日志不出域,推理必须在本地完成;
- 决策可审计:根因、影响面、处置动作要能被审计方逐项复核;
- 恢复时间:交易系统故障以分钟计损,要求分钟级恢复与自动化的合规留痕。
三者的耦合关系决定了技术路线:数据不出域 → 推理落在本地 → 模型规模受本地算力约束 → 单次推理可用的上下文与推理深度受限 → 需要用结构化证据与检索来补足 → 又回到数据工程。所以在这类环境里,"模型不够聪明"常常是算力约束的表象,不是算法选型的结果。
二、约束组合 A:推理必须留在本地
自托管推理的工程量与在线调用完全不是一回事,主要落在五处:
- 离线交付:模型权重、容器镜像、依赖包通过加密介质导入,导入前后做哈希校验,上线前抓包验证零外联。
- 权重属于供应链:部分权重格式在反序列化阶段可执行任意代码,应改用纯张量格式,并对权重做签名与落盘加密。
- 容量按峰值规划:按每参数 16 位计,70B 级模型仅权重就约 141 GB,单张 80 GB 加速卡放不下,需要量化或张量并行,同时为节点故障预留余量。
- 时钟与证书:无外网时间源时要自建时钟源,否则时间窗关联与证书校验都会失效;吊销列表无法在线拉取,需要在本地维护策略。
- 补丁节奏:驱动、推理引擎与操作系统的补丁按自身验收节奏推进,无法依赖供应商自动推送。
这五处里,最容易在上线阶段集中爆发的不是模型效果,而是离线依赖树的完整性——缺一个依赖包的代价是整条交付链重跑。
由此还带出一个验证上的约束:隔离网环境的验证必须在同等硬件与同等离线条件下完成。用联网环境的测试结论去推导本地表现会系统性高估,因为联网环境可以动态拉取依赖、在线校验证书、调用外部检索,这三项在本地都不成立。
三、约束组合 B:决策必须可审计
可解释性在工程上不是"给出一段理由",而是给出一组可复核的证据:
| 证据项 | 内容 | 复核方式 |
|---|---|---|
| 拓扑证据 | 故障传播路径上的节点与边 | 与故障时刻的拓扑快照比对 |
| 指标证据 | 异常区间、偏离基线的幅度 | 回放原始时间序列 |
| 日志证据 | 命中的日志模式与样本 | 按模板回溯原始日志 |
| 变更证据 | 时间窗内的发布与配置变更 | 与变更记录逐条比对 |
| 模型证据 | 输入提示、输出、模型版本 | 读取防篡改的调用日志 |
调用侧的留痕字段至少包含时间戳、身份、输入、输出、模型版本,并写入防篡改存储;通行的留存要求是不少于六个月。推理侧的设计上,应强制模型基于给定材料回答并标注出处,对材料未覆盖的问题输出"依据不足"而不是生成结论。这一步对抑制幻觉的作用,大于换一个更大的模型。
量化验收也要能在证据链上逐项复核。常见的口径是根因识别率 >92%、异常检测误报率 ≤10%、全链路回溯 ≤1 分钟、故障复发率 ≤3%;审计方不会接受一个孤立的百分比,只会接受"这个结论是依据哪几条证据得出的"。影响面分析的准确率(常见目标 ≥85%)同样绑定拓扑准确率——关系缺失时影响面会被低估,而低估比高估更危险,它会让处置范围偏小。
故障复发率之所以被单独列为指标,是因为它检验的是处置动作是否解决了成因,而不是是否恢复了现象。只恢复现象的处置会在下一个流量高峰复现,这要求每一条自动化动作都对应一条已记录的故障成因。
四、约束组合 C:恢复时间以分钟计
顺序上,影响面分析应该先于根因分析:先确定影响哪个业务、多少用户、是否仍在错误预算内,再去找源头。这一步决定了后续走止血还是走归因,跳过它会让根因分析在错误的范围内搜索。
在这类场景里,变更关联的性价比最高。把发布、配置、扩缩容事件接入同一条时间轴,候选集通常能缩小一个量级;相对地,变更风险拦截(常见目标是拦截率 >60%)比事后定位更省时间,因为它把故障挡在进入生产之前。
自动处置只对已知故障模式开放:重启崩溃进程、切到备用链路、回滚到已知版本这类动作可以自动化;涉及账务与不可逆写操作的场景,自动执行的风险收益比不成立。这一条不是保守,而是因为这类动作的补偿成本无法事先界定。
五、选型错位时的代价与回退路径
三种常见的错位,代价各不相同:
- 把在线服务的能力直接搬进隔离网:离线依赖缺失会在上线阶段集中暴露,回退成本是重建依赖树与介质流程。
- 把可解释性做成"事后生成报告":审计时无法复原当时的输入与模型版本,只能重建,证据效力下降。
- 先做自动处置再做数据治理:拓扑准确率不足时,自动处置的误伤率会高于人工处置,且误伤同样需要走审计。
回退顺序建议固定为:先冻结自动执行、保留取证与建议能力,再补数据与拓扑,最后重开处置权限。按这个顺序回退,损失可控;反过来先停数据治理,会让已经建好的证据链失去时效,重启时又要重新积累。
六、仍需验证的问题
异构指令集环境下,新旧运行时并存期间的指标口径与告警语义如何对齐,目前缺少统一做法。增量切换时两套采集同时上报,同一对象的指标会被算成两份,压缩比与误报率都会失真,需要在切换期显式标记数据来源。
本地算力约束下,模型规模与证据链完整度如何取舍也还没有定论:更大的模型推理能力更强,但完整留痕与可复核的成本更高;小模型配检索与结构化证据,留痕成本低,却依赖检索召回的质量。前者的问题在成本,后者的问题在召回率,两者的失败模式不同,需要用同一批故障单分别测。
还有一个尚未收敛的点是无外网环境下的凭据与密钥轮换周期。周期过长会放大泄露影响,过短又受制于介质导入的人工成本,需要与审计要求放在一起定,而不是单方面取一个折中值。