SLS 智能运维 AI 基础模型创新

简介: SLS 全新发布运维场景基础模型,覆盖 Log、Metric、Trace 等可观测数据场景,模型提供开箱即用的异常检测、自动标注、分类和根因分析等能力;根因分析算法千级异常请求秒级定位,生产中准确率达95%;同时支持人工辅助微调,提供人工标注、结果打标修正,模型根据人工反馈自动微调,提升场景准确率。

AIOps 为运维工作带来革命式变革

随着云计算技术不断升级,承载业务的 IT 基础设施规模扩大,各个应用之间的链路关系变得越来越复杂,每时每刻都在产生海量级的日志。对日志数据的采集、存储与分析处理方式,是衡量企业系统数字化程度的重要标志。传统的 IT 运维方案也会面临非常大的挑战对于 DevOps 来说,需要花费数小时进行查找、对比和分析,以解决一个问题。这可能涉及到查看各种日志、监控数据和其他相关信息,以找出问题的根源。而对于 SecOps 来说,需要在海量的数据中进行深度分析,意味着他们需要从数百 TB 的数据中,从异常中快速挖掘根本原因,这些过程都是非常耗时且繁琐的,可能需要大量的人力和资源投入。


传统的 AIOps 技术如异常检测、根因定位等主要有以下两个问题

  • AIOps 算法涉及到很多阈值、规则的配置,在不同业务场景这些配置项都需要反复测试选择。因此算法的维护成本比较高,很难随着业务场景的变化而演进
  • AIOps 模型的构建一般使用私域数据,往往存在数据数量较少、质量较差的问题。这导致了模型的泛化性、迁移能力较差,在不同的业务场景往往需要重新构建


针对以上痛点,SLS 推出智能运维通用模型能力。我们分别构建了用于对 Log、Trace、Metric 这三类可观测数据进行分析的基础模型,提供开箱即用的异常检测算法、根因分析和自动打标等能力。支持秒级在数千请求内定位到根因,在生产中准确率达 95%以上。对于不同的数据类型,我们选择了不同的任务对模型进行预训练:

  • Metric 基础模型:可准备识别时序异常检测、时序预测、形态检测等,辅助做好更加智能的巡检
  • Log 基础模型:针对日志场景,提供丰富的 LogNER 的能力,辅助抽取带有语义信息的日志模板
  • Trace 基础模型:支持 OT 协议的 Trace 数据的高延时诊断


特定领域的基础模型,开箱即用,省略了复杂的部署流程,一键触达,大大降低客户对日志服务基础能力的使用门槛。客户无需在特定的场景中进行模型微调,直接通过日志服务提供的通用基础模型就可以达到不错的效果。

SLS 发布智能运维场景的基础模型

近期 SLS 发布智能运维基础模型,覆盖 Log、Trace、Metric 等可观测数据场景,支持指标的异常检测、文本的分词标注、Trace请求的高延时分析。模型提供开箱即用的异常检测、自动标注、分类和根因分析等能力。支持秒级在数千请求内定位到根因,在生产中准确率达 95%以上


此外,SLS 提供人工辅助微调。在日志服务平台上,原生支持对 Log、Metric、Trace 的标注反馈能力,让客户在使用的过程中可以快速进行标注、结果打标修正,沉淀符合特定场景的数据集。通过平台的标注能力,让客户从零开始积累高质量的运维数据标签,为未来的根因诊断模型的训练提供了无限可能。


在未来,客户可以针对自己标注的数据在特定领域的模型上进行微调,并行快速部署,创建私有的模型服务。支持自动标注人工辅助微调,支持人工标注结果打标修正,模型根据人工反馈自动微调,提升场景准确率。

AI 基础模型 - Metric 模型的介绍

Metric 基础模型收集海量真实指标数据,尝试语言模型在指标数据上的迁移能力,具备开箱即用的指标异常检测能力。Metric 基础模型核心能力如下:

  • 针对 AIOps 领域数据多样:涉及了日志场景中的 20+ 类别的数据,涉及其中核心的 KPI 指标数量达到 15W+,指标实体数量达到 3W+,收集近 90 天的观测数据。
  • 附带元数据的特征编码:时序数据的划分需要动态的适配数据的形态,考虑时序数据中的时间戳特性
  • 下游任务拆解,包括 filling Blanks,fragment classfication,short term predication。

AI 基础模型-Metric 基础模型的演示

点击 智能运维基础模型 Demo 了解更多详情,作者:刘进步 阿里云高级开发工程师

https://developer.aliyun.com/live/253663?spm=a2c6h.27925324.detail.21.489031886qWWf7


AI 基础模型-Log 模型的介绍

Log 基础模型收集海量日志数据,提升语言模型在日志数据上的迁移能力,帮助运维人员更好的理解非结构化数据。其核心能力如下:

  • 针对 AIOps 领域数据多样:包含 200+ 的系统层和应用层日志,涵盖 100W+ 的日志
  • 运维场景的日志理解: 定义了日志领域场景的 16 类实体,自动提示实体信息

AI 基础模型-Log 基础模型的演示

点击 智能运维基础模型 Demo 了解更多详情,作者:刘进步 阿里云高级开发工程师

https://developer.aliyun.com/live/253664?spm=a2c6h.24874632.expert-profile.30.6e1c667bZuoq2F


AI 基础模型- Trace 基础模型的介绍

Trace 基础模型开箱即用,仅需要小部分 Meta 数据,无需进行大规模的预训练,能较好的适配多种微服务系统。

其核心能力如下:

  • 学习大量的微服务系统:使用阿里云内部微服务系统的真实数据,开发整套微服务系统生成的系统,通过混沌工程进行故障输入,获取真实的标签数据
  • 将图和指标联合建模:探索使用多源异构数据进行联合建模,解决图模型的泛化问题设计无监督任务,利用反事实方法生成标签

AI 基础模型-Trace 基础模型的演示

点击 智能运维基础模型 Demo 了解更多详情,作者:刘进步 阿里云高级开发工程师

https://developer.aliyun.com/live/253662?spm=a2c6h.27925324.detail.29.48903188vi5tKx


Trace RCA 场景示例:智能异常分析检测与根因分析

以游戏用户为例,介绍智能异常分析检测与根因分析的场景。游戏用户在游戏服务系统中调用和依赖关系复杂、任何阶段出问题都可能导致游戏操作失败或卡顿,影响玩家用户体验。


针对此类问题,我们提出了一种解决方案。该方案利用服务中的 Trace 数据自动生成拓扑图,并围绕高延时分析、高错误率分析、系统热点和瓶颈等方面进行分析和诊断,以缩短问题处理时间并优化系统延时。


通过自动生成的拓扑图,我们可以快速定位海量 Trace 数据中的异常根因和性能瓶颈,无需人工干预。这种方法可以提高大规模分布式系统的异常定位效率,并实现数千请求每秒级别的根因定位。在生产环境中,该方案的准确率可达到 95%。


Trace 根因分析主要围绕三个场景:

  1. 错误&高延时 Trace 根因分析:探测导致 Trace 高延时或错误的服务,关联 Log/Trace/Metric,自动检测根因
  2. 服务性能瓶颈检测:预测微服务系统的性能瓶颈
  3. Trace 聚类:将 Trace 聚合,找到 Trace 的 Pattern,快速找到相同错误类型的报错


以下截图显示 Trace RCA 自定义仪表盘:


SLS Mall 共有 12 个服务,45 个入口接口,在选择的时间段中,共产生了 1641195条Trace,其中请求平均延迟 21288.11ms

15:23 共有 1 个入口服务产生 2880 条慢 Trace 其中入口服务 Front-end 的 POST/jordrg 发现次数最多共出现 2880 次占100.0%

在根因分析结果中,主机 pay-ment-5b7dBd684b-zjtzv 出现比例最高,其中共出现 2892 次占 34.0%

在根因分析结果中,服务 payment 出现比例最高,其中共出现 2892 次占 99.0%

在根因分析结果中,方法 POST/payment-tAuth 出现比例最高,其中共出现 2892 次占 99.0%

未来方向探讨 

阿里云日志服务 SLS 致力于打造高效、可观测的运维解决方案,凭借其多年的运维经验以及大语言模型的支持,不断提升其在此领域的竞争力。在未来,SLS 智能运维基础模型的能力会持续优化。


SFT 与反馈相结合的 AI 系统是一种强大的机制,可以帮助提升模型的效果。在获得用户授权后,通过持续收集和分析用户反馈数据来不断优化基础 AI 模型,并为用户提供定制化服务,允许他们使用自己的业务数据和标签对模型进行微调,从而创建出更贴合其特定需求的专属模型。


通过 AI Agents 进一步实现运维场景的效率优化。需要深入探索和挖掘在智能运维领域中,适合利用 AI Agents 自动化、智能化提效的场景。探索 AI Agent 在多场景中的统一表示。探索基于 AI Agents 进行自主编程和自主执行的框架设计。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
23天前
|
机器学习/深度学习 运维 监控
智能监控系统在运维中的应用与优势
传统的运维管理方式在面对日益复杂的IT系统时显得力不从心,智能监控系统的出现为运维工作带来了新的机遇。本文将探讨智能监控系统在运维中的应用与优势,介绍其工作原理以及如何有效地利用智能监控系统提升运维效率和质量。
38 2
|
30天前
|
机器学习/深度学习 人工智能 算法
AI音乐生成创企发新模型 几秒生成两分钟歌曲
Suno公司推出AI音乐生成模型,基于深度学习和大数据,快速创作符合用户喜好的歌曲,简化音乐创作流程,让业余爱好者也能参与。该模型高度可定制,支持二次创作,引发行业关注。创始人强调,目标是辅助而非取代人类音乐家,旨在促进音乐产业创新与发展。
58 1
AI音乐生成创企发新模型 几秒生成两分钟歌曲
|
30天前
|
人工智能 监控 算法
java智慧城管源码 AI视频智能分析 可直接上项目
Java智慧城管源码实现AI视频智能分析,适用于直接部署项目。系统运用互联网、大数据、云计算和AI提升城市管理水平,采用“一级监督、二级指挥、四级联动”模式。功能涵盖AI智能检测(如占道广告、垃圾处理等)、执法办案、视频分析、统计分析及队伍管理等多个模块,利用深度学习优化城市管理自动化和智能化,提供决策支持。
218 4
java智慧城管源码 AI视频智能分析 可直接上项目
|
21小时前
|
人工智能 搜索推荐 决策智能
【AI Agent系列】【阿里AgentScope框架】1. 深入源码:详细解读AgentScope中的智能体定义以及模型配置的流程
【AI Agent系列】【阿里AgentScope框架】1. 深入源码:详细解读AgentScope中的智能体定义以及模型配置的流程
8 0
|
22小时前
|
数据采集 存储 人工智能
【AI大模型应用开发】【LangChain系列】实战案例4:再战RAG问答,提取在线网页数据,并返回生成答案的来源
【AI大模型应用开发】【LangChain系列】实战案例4:再战RAG问答,提取在线网页数据,并返回生成答案的来源
8 0
|
22小时前
|
数据采集 存储 人工智能
【AI大模型应用开发】【LangChain系列】实战案例2:通过URL加载网页内容 - LangChain对爬虫功能的封装
【AI大模型应用开发】【LangChain系列】实战案例2:通过URL加载网页内容 - LangChain对爬虫功能的封装
7 0
|
22小时前
|
人工智能 监控 数据处理
【AI大模型应用开发】【LangSmith: 生产级AI应用维护平台】1. 快速上手数据集与测试评估过程
【AI大模型应用开发】【LangSmith: 生产级AI应用维护平台】1. 快速上手数据集与测试评估过程
6 0
|
23小时前
|
数据采集 人工智能 数据可视化
【AI大模型应用开发】【LangChain系列】4. 从Chain到LCEL:探索和实战LangChain的巧妙设计
【AI大模型应用开发】【LangChain系列】4. 从Chain到LCEL:探索和实战LangChain的巧妙设计
6 0
|
23小时前
|
存储 人工智能 JSON
【AI大模型应用开发】【LangChain系列】3. 一文了解LangChain的记忆模块(理论实战+细节)
本文介绍了LangChain库中用于处理对话会话记忆的组件。Memory功能用于存储和检索先前的交互信息,以便在对话中提供上下文。目前,LangChain的Memory大多处于测试阶段,其中较为成熟的是`ChatMessageHistory`。Memory类型包括:`ConversationBufferMemory`(保存对话历史数组)、`ConversationBufferWindowMemory`(限制为最近的K条对话)和`ConversationTokenBufferMemory`(根据Token数限制上下文长度)。
5 0
|
23小时前
|
人工智能 安全 API
【AI大模型应用开发】1.3 Prompt攻防(安全) 和 Prompt逆向工程
【AI大模型应用开发】1.3 Prompt攻防(安全) 和 Prompt逆向工程
13 0

相关产品

  • 日志服务