SLS 智能运维 AI 基础模型创新

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: SLS 全新发布运维场景基础模型,覆盖 Log、Metric、Trace 等可观测数据场景,模型提供开箱即用的异常检测、自动标注、分类和根因分析等能力;根因分析算法千级异常请求秒级定位,生产中准确率达95%;同时支持人工辅助微调,提供人工标注、结果打标修正,模型根据人工反馈自动微调,提升场景准确率。

AIOps 为运维工作带来革命式变革

随着云计算技术不断升级,承载业务的 IT 基础设施规模扩大,各个应用之间的链路关系变得越来越复杂,每时每刻都在产生海量级的日志。对日志数据的采集、存储与分析处理方式,是衡量企业系统数字化程度的重要标志。传统的 IT 运维方案也会面临非常大的挑战对于 DevOps 来说,需要花费数小时进行查找、对比和分析,以解决一个问题。这可能涉及到查看各种日志、监控数据和其他相关信息,以找出问题的根源。而对于 SecOps 来说,需要在海量的数据中进行深度分析,意味着他们需要从数百 TB 的数据中,从异常中快速挖掘根本原因,这些过程都是非常耗时且繁琐的,可能需要大量的人力和资源投入。


传统的 AIOps 技术如异常检测、根因定位等主要有以下两个问题

  • AIOps 算法涉及到很多阈值、规则的配置,在不同业务场景这些配置项都需要反复测试选择。因此算法的维护成本比较高,很难随着业务场景的变化而演进
  • AIOps 模型的构建一般使用私域数据,往往存在数据数量较少、质量较差的问题。这导致了模型的泛化性、迁移能力较差,在不同的业务场景往往需要重新构建


针对以上痛点,SLS 推出智能运维通用模型能力。我们分别构建了用于对 Log、Trace、Metric 这三类可观测数据进行分析的基础模型,提供开箱即用的异常检测算法、根因分析和自动打标等能力。支持秒级在数千请求内定位到根因,在生产中准确率达 95%以上。对于不同的数据类型,我们选择了不同的任务对模型进行预训练:

  • Metric 基础模型:可准备识别时序异常检测、时序预测、形态检测等,辅助做好更加智能的巡检
  • Log 基础模型:针对日志场景,提供丰富的 LogNER 的能力,辅助抽取带有语义信息的日志模板
  • Trace 基础模型:支持 OT 协议的 Trace 数据的高延时诊断


特定领域的基础模型,开箱即用,省略了复杂的部署流程,一键触达,大大降低客户对日志服务基础能力的使用门槛。客户无需在特定的场景中进行模型微调,直接通过日志服务提供的通用基础模型就可以达到不错的效果。

SLS 发布智能运维场景的基础模型

近期 SLS 发布智能运维基础模型,覆盖 Log、Trace、Metric 等可观测数据场景,支持指标的异常检测、文本的分词标注、Trace请求的高延时分析。模型提供开箱即用的异常检测、自动标注、分类和根因分析等能力。支持秒级在数千请求内定位到根因,在生产中准确率达 95%以上


此外,SLS 提供人工辅助微调。在日志服务平台上,原生支持对 Log、Metric、Trace 的标注反馈能力,让客户在使用的过程中可以快速进行标注、结果打标修正,沉淀符合特定场景的数据集。通过平台的标注能力,让客户从零开始积累高质量的运维数据标签,为未来的根因诊断模型的训练提供了无限可能。


在未来,客户可以针对自己标注的数据在特定领域的模型上进行微调,并行快速部署,创建私有的模型服务。支持自动标注人工辅助微调,支持人工标注结果打标修正,模型根据人工反馈自动微调,提升场景准确率。

AI 基础模型 - Metric 模型的介绍

Metric 基础模型收集海量真实指标数据,尝试语言模型在指标数据上的迁移能力,具备开箱即用的指标异常检测能力。Metric 基础模型核心能力如下:

  • 针对 AIOps 领域数据多样:涉及了日志场景中的 20+ 类别的数据,涉及其中核心的 KPI 指标数量达到 15W+,指标实体数量达到 3W+,收集近 90 天的观测数据。
  • 附带元数据的特征编码:时序数据的划分需要动态的适配数据的形态,考虑时序数据中的时间戳特性
  • 下游任务拆解,包括 filling Blanks,fragment classfication,short term predication。

AI 基础模型-Metric 基础模型的演示

点击 智能运维基础模型 Demo 了解更多详情,作者:刘进步 阿里云高级开发工程师

https://developer.aliyun.com/live/253663?spm=a2c6h.27925324.detail.21.489031886qWWf7


AI 基础模型-Log 模型的介绍

Log 基础模型收集海量日志数据,提升语言模型在日志数据上的迁移能力,帮助运维人员更好的理解非结构化数据。其核心能力如下:

  • 针对 AIOps 领域数据多样:包含 200+ 的系统层和应用层日志,涵盖 100W+ 的日志
  • 运维场景的日志理解: 定义了日志领域场景的 16 类实体,自动提示实体信息

AI 基础模型-Log 基础模型的演示

点击 智能运维基础模型 Demo 了解更多详情,作者:刘进步 阿里云高级开发工程师

https://developer.aliyun.com/live/253664?spm=a2c6h.24874632.expert-profile.30.6e1c667bZuoq2F


AI 基础模型- Trace 基础模型的介绍

Trace 基础模型开箱即用,仅需要小部分 Meta 数据,无需进行大规模的预训练,能较好的适配多种微服务系统。

其核心能力如下:

  • 学习大量的微服务系统:使用阿里云内部微服务系统的真实数据,开发整套微服务系统生成的系统,通过混沌工程进行故障输入,获取真实的标签数据
  • 将图和指标联合建模:探索使用多源异构数据进行联合建模,解决图模型的泛化问题设计无监督任务,利用反事实方法生成标签

AI 基础模型-Trace 基础模型的演示

点击 智能运维基础模型 Demo 了解更多详情,作者:刘进步 阿里云高级开发工程师

https://developer.aliyun.com/live/253662?spm=a2c6h.27925324.detail.29.48903188vi5tKx


Trace RCA 场景示例:智能异常分析检测与根因分析

以游戏用户为例,介绍智能异常分析检测与根因分析的场景。游戏用户在游戏服务系统中调用和依赖关系复杂、任何阶段出问题都可能导致游戏操作失败或卡顿,影响玩家用户体验。


针对此类问题,我们提出了一种解决方案。该方案利用服务中的 Trace 数据自动生成拓扑图,并围绕高延时分析、高错误率分析、系统热点和瓶颈等方面进行分析和诊断,以缩短问题处理时间并优化系统延时。


通过自动生成的拓扑图,我们可以快速定位海量 Trace 数据中的异常根因和性能瓶颈,无需人工干预。这种方法可以提高大规模分布式系统的异常定位效率,并实现数千请求每秒级别的根因定位。在生产环境中,该方案的准确率可达到 95%。


Trace 根因分析主要围绕三个场景:

  1. 错误&高延时 Trace 根因分析:探测导致 Trace 高延时或错误的服务,关联 Log/Trace/Metric,自动检测根因
  2. 服务性能瓶颈检测:预测微服务系统的性能瓶颈
  3. Trace 聚类:将 Trace 聚合,找到 Trace 的 Pattern,快速找到相同错误类型的报错


以下截图显示 Trace RCA 自定义仪表盘:


SLS Mall 共有 12 个服务,45 个入口接口,在选择的时间段中,共产生了 1641195条Trace,其中请求平均延迟 21288.11ms

15:23 共有 1 个入口服务产生 2880 条慢 Trace 其中入口服务 Front-end 的 POST/jordrg 发现次数最多共出现 2880 次占100.0%

在根因分析结果中,主机 pay-ment-5b7dBd684b-zjtzv 出现比例最高,其中共出现 2892 次占 34.0%

在根因分析结果中,服务 payment 出现比例最高,其中共出现 2892 次占 99.0%

在根因分析结果中,方法 POST/payment-tAuth 出现比例最高,其中共出现 2892 次占 99.0%

未来方向探讨 

阿里云日志服务 SLS 致力于打造高效、可观测的运维解决方案,凭借其多年的运维经验以及大语言模型的支持,不断提升其在此领域的竞争力。在未来,SLS 智能运维基础模型的能力会持续优化。


SFT 与反馈相结合的 AI 系统是一种强大的机制,可以帮助提升模型的效果。在获得用户授权后,通过持续收集和分析用户反馈数据来不断优化基础 AI 模型,并为用户提供定制化服务,允许他们使用自己的业务数据和标签对模型进行微调,从而创建出更贴合其特定需求的专属模型。


通过 AI Agents 进一步实现运维场景的效率优化。需要深入探索和挖掘在智能运维领域中,适合利用 AI Agents 自动化、智能化提效的场景。探索 AI Agent 在多场景中的统一表示。探索基于 AI Agents 进行自主编程和自主执行的框架设计。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
10天前
|
机器学习/深度学习 人工智能 运维
AI辅助的运维风险预测:智能运维新时代
AI辅助的运维风险预测:智能运维新时代
90 19
AI辅助的运维风险预测:智能运维新时代
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
Baichuan-M1-14B 是百川智能推出的首个开源医疗增强大模型,专为医疗场景优化,支持多语言、快速推理,具备强大的医疗推理能力和通用能力。
141 16
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
|
12天前
|
机器学习/深度学习 人工智能 运维
智能日志分析:用AI点亮运维的未来
智能日志分析:用AI点亮运维的未来
78 15
|
19天前
|
弹性计算 人工智能 运维
云产品评测|告别传统运维挑战!阿里云OS控制台引领智能管理新时代
阿里云OS控制台是专为运维人员设计的高效管理工具,旨在提升用户体验和简化操作流程。它不仅集成了OS Copilot等智能助手,还提供了系统诊断、订阅管理和AI组件等功能,支持API、SDK、CLI等多种管理方式。通过该平台,用户可以轻松纳管服务器、监控健康状态、执行故障排查,并享受针对阿里云环境优化的运维体验。整体而言,阿里云OS控制台为运维工作带来了极大的便利与效率提升。
|
20天前
|
机器学习/深度学习 人工智能 运维
基于AI的自动化事件响应:智慧运维新时代
基于AI的自动化事件响应:智慧运维新时代
86 11
|
19天前
|
机器学习/深度学习 人工智能 运维
AI赋能运维:实时警报管理的新时代
AI赋能运维:实时警报管理的新时代
40 8
|
20天前
|
人工智能 监控 安全
设计:智能医疗设备管理系统——AI医疗守护者
该系统将结合人工智能技术与区块链技术,实现对医疗设备的智能化管理。目标是提高医疗设备的管理效率,确保医疗设备的数据安全,优化医疗资源的配置,提升医疗服务质量。
|
18天前
|
机器学习/深度学习 存储 人工智能
AI实践:智能工单系统的技术逻辑与应用
智能工单系统是企业服务管理的核心工具,通过多渠道接入、自然语言处理等技术,实现工单自动生成、分类和分配。它优化了客户服务流程,提高了效率与透明度,减少了运营成本,提升了客户满意度。系统还依托知识库和机器学习,持续改进处理策略,助力企业在竞争中脱颖而出。
56 5
|
23天前
|
人工智能 运维 Linux
AI驱动的操作系统服务体验:大模型时代的运维革新
AI驱动的操作系统服务体验:大模型时代的运维革新
31 5
|
2天前
|
人工智能 运维 安全
操作系统控制台体验评测:AI驱动的运维新体验
作为一名开发工程师,我体验了阿里云的操作系统服务套件,选择CentOS作为测试环境。安装SysOM和OS Copilot组件非常顺利,系统健康检查、诊断功能精准高效,OS Copilot智能解答操作系统问题,节省大量时间。订阅管理确保系统安全更新,整体提升运维效率约30%。建议增加更多诊断功能和培训资源。总结:AI驱动的运维新体验,极大提高工作效率和系统稳定性。[访问控制台](https://alinux.console.aliyun.com/)。
16 0

相关产品

  • 日志服务