【故障定位系列】基于DeepSeek的故障定位大揭秘

简介: 传统故障定位依赖专家经验与固定算法,难以应对复杂场景。引入DeepSeek大模型后,可凭借其强大推理与自适应能力,实现智能故障定位。通过“大模型+Agent”协同架构,大模型负责决策,Agent执行数据分析,既降低Token消耗,又保留智能化分析优势。未来,随着大模型理解与推理能力提升,故障定位将更高效、精准。

1 为什么要引入DeepSeek故障定位

在讨论这个话题之前,需要先聊一聊传统的基于专家经验的故障定位的思路
image.png

  • 数据源:提供可观测中Tracing、Metric、Log、Event、Profiling等各种数据

  • 算法:对上述数据进行异常检测或者下钻分析

  • 定位模型:作为大脑,掌控整个定位流程

    • 编写各种场景的定位逻辑

    • 在每个场景定位逻辑中

      • 获取该场景下的数据

      • 使用算法对数据进行异常检测

      • 综合分析后跳转到下个场景继续定位

这里存在的难点有如下2个:

  • 难点1:每种场景都需要一定的专家经验才能编写出合理的定位逻辑:目前并没有太好的解决方案,还是靠定位专家来编写

  • 难点2:对各种各样的数据的都能进行自适应的异常检测:目前是采用智能的异常检测算法来应对

在各种大模型比如DeepSeek的智能推理出现后,上述2个难点问题就迎来了新的转机

  • 针对难点1:DeepSeek已经具备了非常丰富的各种场景运维经验

  • 针对难点2:自适应的异常检测这种智能化的东西更是DeepSeek的强项

所以是时候重新需要思考下:在大模型的加持下,故障定位到底该如何改进了

2 引入DeepSeek的方案探讨

引入DeepSeek后最初步的设想是:大模型承担更多智能化工作,我们只需要提供数据源即可

整体定位架构就变得非常简单,如下所示:

image.png

  • 大模型替代了2大模块:定位模型+算法

    • 大模型作为大脑,掌控整个分析定位流程

    • 大模型作为算法提供者,可以自主分析各种数据

  • 我们需要将数据体系投喂给大模型:大模型根据数据体系来决策分析思路

  • 数据源:向大模型提供定位时需要的数据

就是把智能化的工作交给大模型去处理,我们的重点就在于将我们的数据体系向大模型描述清楚,举个例子:

比如从Trace中抽取出了http接口的指标信息,如下所示:

  • metric:service.http

  • tags:clientService、clientIp、serverService、serverIp、httpUrl、httpCode、httpMethod

  • fields:cnt、error、duration、requestPayload、responsePayload

这里就是我们需要把我们的指标体系提供给大模型,让大模型理解这个指标是干什么的,有哪些tags和fields,同理Tracing等其他数据也是类似

思路的本质:我们是需要将故障定位这个问题向大模型描述清楚,同时并不限制大模型的分析思路。因为一旦限制大模型的分析思路,那么我们的限制将成为定位的瓶颈,大模型也失去了智能化的意义,变成了一个执行器而已

这看起来才是一个智能化的架构,不过是一个非常理想的架构,存在哪些痛点呢?

以上述service.http指标为例,各种维度组合下,最近10分钟的Metric,这个数据都可能有几M的大小

  • 大模型token还无法支撑

  • token过大时分析速度会很慢

基于以上痛点,业内也有基于DeepSeek的故障定位业的实践者,他们的主要思路如下

  • 针对每个服务的每个指标进行异常检测

  • 将下面3个元素发给大模型

    • 服务拓扑

    • 每个服务的异常检测结果

    • 定位思路

  • 大模型按照给定的定位思路进行解释执行

那在这种方案下,大模型接手的是处理过后大数据,数据量大大减少,确实解决了这个痛点,但是也会有副作用,大模型演变成了一个工作流执行器,失去了智能化的威力

有没有更好的方案:既能解决token的限制,也能充分发挥大模型的智能化呢?

image.png

  • 我们提供数据体系投喂给大模型

  • 大模型根据数据体系来决策整个分析流程:向Agent智能体下发分析命令

  • Agent作为执行体,负责执行大模型下发的分析命令

    • 命令中包含要分析的数据:Agent需要从数据源中获取这部分数据

    • Agent使用异常检测算法对数据进行初步的分析

    • Agent将初步的分析结果发给大模型,让大模型进行下一步的决策

  • 大模型根据Agent的响应,综合性的决策出下一步的分析步骤

该方案的本质:将基础数据分析这种脏活累活交给Agent,不仅大大降低了大模型的token数,还加快了分析速度,同时又能充分发挥大模型的智力

3 落地方案

落地方案如下所示:

image.png

  1. Agent向大模型提供数据体系,解释各种数据作用

  2. 大模型根据数据体系形成分析决策,给出分析命令

  3. Agent接收到分析命令后,获取相应数据,根据算法对数据进行初步分析,并将分析结果发送给大模型

  4. 大模型根据分析结果,继续优化分析决策,并给出下一步的分析命令

  5. Agent重复上述步骤

  6. 直到大模型决策出找到根因,无需再分析则结束

4 实际效果

提前告诉大模型对应的数据体系,以及数据体系中的数据关联和约束

然后当出现告警时,让大模型给出下一步的分析命令

image.png

上述大模型给出了要分析的数据,Agent能够从数据源中获取该数据进行初步分析,然后将分析结果发给大模型

image.png

大模型针对Agent的响应,综合性分析给出下一步的分析指令

就这样如此往复,最终大模型会给出结束指令

image.png

然后让大模型综合分析结论,给出故障树
image.png

5 后续展望

这个方案有3个核心关键点:

  1. 向大模型解释数据体系:解释最基本的数据

  2. 大模型对数据体系的理解能力:尽量自动理解数据之间的关联,不需要人为一个个明确解释

  3. 大模型的推理能力:结合场景和数据进行严谨的推理

第一个关键点是我们需要努力的,合理并且简单的数据体系更容易被理解

第二三个关键点是大模型需要进一步优化的。目前的大模型还是存在幻觉和推理不严谨的问题,还需要加一些约束机制,以及在数据体系上花费大功夫来解释到位

不过大模型还在飞速进步,这些工作也会逐步废弃

相关文章
|
11月前
|
运维 监控 前端开发
基于AI大模型的故障诊断与根因分析落地实现
本项目基于Dify平台构建多智能体协作的AIOps故障诊断系统,融合指标、日志、链路等多源数据,通过ReAct模式实现自动化根因分析(RCA),结合MCP工具调用与分层工作流,在钉钉/企业微信中以交互式报告辅助运维,显著降低MTTD/MTTR。
8062 28
|
5月前
|
存储 人工智能 运维
让智能无界协作:UModel 正式开源,发起通用语义标准倡议
让数据说同一种语言,让智能无界协作。阿里云正式开源 UModel,并携手信通院、中科院、畅捷通、神州商龙、小鹏汽车、卓驭科技、嘉立创科技等企业伙伴与学术机构共同发起通用语义标准倡议。
1565 33
|
11月前
|
缓存
QLExpress使用及源码分析
QLExpress是阿里巴巴开源的轻量级规则引擎,支持通过注解与YAML配置实现业务逻辑与代码解耦。提供AST语法树解析、上下文构建及高效执行机制,适用于动态规则场景。GitHub地址:https://github.com/alibaba/QLExpress
|
7月前
|
人工智能 缓存 固态存储
投机解码原理详解:小模型打草稿,大模型一次验证
生产环境中,推理成本远超训练——自回归解码受制于内存带宽墙,70B模型在H100上每token需700亿次计算。投机解码(2026年已成标配)用小模型“猜词+大模型并行验证”,严格保质提速2–2.5倍;SSD更进一步,复用大模型浅层自生成草稿、构建回滚树,接受率提升、显存零新增。vLLM已原生支持,开箱即用。
1112 2
投机解码原理详解:小模型打草稿,大模型一次验证
|
运维 监控 关系型数据库
AI 时代的 MySQL 数据库运维解决方案
本文探讨了大模型与MySQL数据库运维结合所带来的变革,介绍了构建结构化运维知识库、选择合适的大模型、设计Prompt调用策略、开发MCP Server以及建立监控优化闭环等关键步骤。通过将自然语言处理能力与数据库运维相结合,实现了故障智能诊断、SQL自动优化等功能,显著提升了MySQL运维效率和准确性。
1188 18
|
人工智能 运维 NoSQL
机器一宕机就靠“拍脑袋”?试试知识图谱,排故快准狠!
机器一宕机就靠“拍脑袋”?试试知识图谱,排故快准狠!
1326 8
|
Java API
QLExpress功能清单
QLExpress从一开始就是从复杂的阿里电商业务系统出发,并且不断完善的脚本语言解析引擎框架,在不追求java语法的完整性的前提下(比如异常处理,foreach循环,lambda表达式,这些都是groovy是强项),定制了很多普遍存在的业务需求解决方案(比如变量解析,spring打通,函数封装,操作符定制,宏替换),同时在高性能、高并发、线程安全等方面也下足了功夫,久经考验。
22916 1
|
11月前
|
机器学习/深度学习 人工智能 运维
别只盯着 CPU 爆了!一篇文章带你看懂:从指标到根因的 AIOps 自动化故障定位流水线
别只盯着 CPU 爆了!一篇文章带你看懂:从指标到根因的 AIOps 自动化故障定位流水线
1021 15
|
数据采集 关系型数据库 MySQL
如何从零开发一款 OneAgent
Databuff自研轻量级OneAgent,专为智能可观测时代打造。具备低资源占用、自动服务发现、SQL查询支持与采集即治理等特性,兼容多语言插件扩展,助力AI-Agent集成与全栈监控统一管理。