AI Powered SLS 智能分析能力创新

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 随着云计算技术不断升级,承载业务的 IT 基础设施规模扩大,各个应用之间的链路关系变得越来越复杂,每时每刻都在产生海量级的日志。

AIOps 为运维工作带来革命式变革


随着云计算技术不断升级,承载业务的 IT 基础设施规模扩大,各个应用之间的链路关系变得越来越复杂,每时每刻都在产生海量级的日志。对日志数据的采集、存储与分析处理方式,是衡量企业系统数字化程度的重要标志。传统的 IT 运维方案也会面临非常大的挑战对于 DevOps 来说,需要花费数小时进行查找、对比和分析,以解决一个问题。这可能涉及到查看各种日志、监控数据和其他相关信息,以找出问题的根源。而对于 SecOps 来说,需要在海量的数据中进行深度分析,意味着他们需要从数百 TB 的数据中,从异常中快速挖掘根本原因,这些过程都是非常耗时且繁琐的,可能需要大量的人力和资源投入。

为了解决以上问题,需要新一代的 AIOps 解决方案,数据融合分析实现自动化、全栈的数据全链路可观测,更易使用、所见即所得的报表和诊断规则,通过 AI 加持、更高效的自动检测异常并快速定位根因, AIOps 已为运维工作带来革命式变革。



日志服务 SLS 如何提升效率?

SLS 自动化全栈采集数据


  • 云基础设施可观测 Alibaba Cloud Lens:提供跨账号、跨区域、统一的云产品运维数据采集,支持自动采集计量、指标、访问日志等数据


  • 应用可观测 全栈可观测:全栈数据采集、客户端到服务端、基础设施到应用,数据关联分析、跨多种数据源、完备分析语法、丰富上下文支持


  • 安全审计 日志审计:50+ 数据源自动接入,安全态势可视化图表,内置 100+安全规则告警监控,提供多账号管理、跨账号、跨地域采集的中心化存储


SLS 开箱即用的报表和诊断规则


  • CloudLens 内置规则:全面的云产品辅助运维分析,支持消费组/API/Grafana 等灵活订阅的数据平台
  • 全栈可观测内置告警:实时告警、事件管理系统、告警收敛,可定制仪表盘、内置异常检测和根因分析
  • Security 内置规则:满足合规、等保、网安法、GDPR 等标准,内置近百个安全合规监控规则


SLS 开放兼容的数据生态


  • SLS 提供开放兼容的数据生态,兼容多种数据源,统一采集。


  • SLS 兼容开源、高性价比的可观测存储分析平台。内置 Serverless 分析能力,兼容开源引擎与工具,兼容 Elasticsearch、Kafka、Prometheus、CK,99% 的情况下无缝迁移。


  • SLS 是离线数仓、数据湖入湖的最佳方案,和三方 SIEM 对接提供 SecOps 云上安全审计,并支持多种告警通知渠道。



IT 运维场景的基础模型创新


阿里云日志服务 SLS 致力于打造高效、可观测的运维解决方案,凭借其多年的运维经验以及大语言模型的支持,不断提升其在此领域的竞争力。近期 SLS 发布智能运维基础模型,覆盖 Log、Trace、Metric 等可观测数据场景,支持指标的异常检测、文本的分词标注、Trace请求的高延时分析。模型提供开箱即用的异常检测、自动标注、分类和根因分析等能力。支持秒级在数千请求内定位到根因,在生产中准确率达 95%以上

此外,SLS 提供人工辅助微调。在日志服务平台上,原生支持对 Log、Metric、Trace 的标注反馈能力,让客户在使用的过程中可以快速进行标注、结果打标修正,沉淀符合特定场景的数据集。通过平台的标注能力,让客户从零开始积累高质量的运维数据标签,为未来的根因诊断模型的训练提供了无限可能。在未来,客户可以针对自己标注的数据在特定领域的模型上进行微调,并行快速部署,创建私有的模型服务。支持自动标注人工辅助微调,支持人工标注结果打标修正,模型根据人工反馈自动微调,提升场景准确率。

SLS 让大语言模型辅助生成查询语句,成为重要的智能助手。发布 Alibaba CloudLens Copilot 大模型助力云设施运维与运营。采用基于大语言模型的 NL2Query 技术,精准理解用户的查询意图,提高查询结果准确性;无需理解复杂的 SQL 语言和查询语法,可准确将自然语言查询转化为 SQL 查询和可视化图表;建立场景化的知识图谱,持续学习,不断优化模型调整和知识库更新,不断改进问题解答的准确性和效果。


场景示例:智能异常分析检测与根因分析


针对某游戏用户在游戏服务系统调用和依赖关系复杂的场景,我们提出了一种解决方案。该方案利用服务中的 Trace数据自动生成拓扑图,并围绕高延时分析、高错误率分析、系统热点和瓶颈等方面进行分析和诊断,以缩短问题处理时间并优化系统延时。


通过自动生成的拓扑图,我们可以快速定位海量 Trace 数据中的异常根因和性能瓶颈,无需人工干预。这种方法可以提高大规模分布式系统的异常定位效率,并实现数千请求每秒级别的根因定位。在生产环境中,该方案的准确率可达到 95%。



智能运维基础模型

传统的 AIOps 技术如异常检测、根因定位等主要有以下两个问题:


  • AIOps 算法涉及到很多阈值、规则的配置,在不同业务场景这些配置项都需要反复测试选择。因此算法的维护成本比较高,很难随着业务场景的变化而演进


  • AIOps 模型的构建一般使用私域数据,往往存在数据数量较少、质量较差的问题。这导致了模型的泛化性、迁移能力较差,在不同的业务场景往往需要重新构建

针对以上痛点,SLS 推出智能运维通用模型能力,我们分别构建了用于对 Log、Trace、Metric 这三类可观测数据进行分析的基础模型,提供开箱即用的异常检测算法、根因分析和自动打标等能力。支持秒级在数千请求内定位到根因,在生产中准确率达 95%以上。对于不同的数据类型,我们选择了不同的任务对模型进行预训练:


  • Metric 基础模型:可准备识别时序异常检测、时序预测、形态检测等,辅助做好更加智能的巡检
  • Log 基础模型:针对日志场景,提供丰富的 LogNER 的能力,辅助抽取带有语义信息的日志模板
  • Trace 基础模型:支持 OT 协议的 Trace 数据的高延时诊断

特定领域的基础模型,开箱即用,省略了复杂的部署流程,一键触达,大大降低客户对日志服务基础能力的使用门槛。客户无需在特定的场景中进行模型微调,直接通过日志服务提供的通用基础模型就可以达到不错的效果。

Alibaba Cloud Lens Copilot 大模型辅助基础设施运维与运营

Alibaba Cloud Lens Copilot 大模型助力云设施运维与运营,有效解决了通过 LLM 不了解 SLS 语法,缺少业务领域知识以及缺少高质量的问答语料等问题。


  • 准确识别意图:使用基于大语言模型的 NL2Query 技术,精准理解用户的查询意图,提高查询结果准确性


  • 所见即所得的结果与报表:无需理解复杂的 SQL 语言和查询语法,准确将自然语言查询转化为 SQL 查询和可视化图表


  • 自动学习资产数据:融合 Alibaba Cloud Lens 中的资产数据与知识图谱,持续学习资产数据、自动优化模型调整

总结 

通过 AI 能力的加持,SLS 的智能分析能力将得到全面升级。SLS 致力于利用数据和算法来辅助 AIOps 创新,具备以下优势:


  • 易于使用
  • 客户可以在日志服务控制台上,轻量的触达指标异常检测、日志文本智能分词、Trace 链路高延时诊断等能力,让客户感觉模型无处不在
  • 特定领域的基础模型,开箱即用,省略了复杂的部署流程,一键触达
  • 本次推出特定领域的大语言模型,可大大降低客户对日志服务基础能力的使用门槛,让大语言模型辅助生成查询语句,成为重要的智能助手


  • 灵活性
  • 客户无需在特定的场景中进行模型微调,直接通过日志服务提供的通用基础模型就可以达到不错的效果
  • 在日志服务平台上,原生支持对 Log、Metric、Trace 的标注反馈能力,让客户在使用的过程中可以快速进行标注,沉淀符合特定场景的数据集


  • 可扩展性
  • 借助阿里云强大的算力支持,日志服务内置提供的基础通用模型可以实现快速的扩容和服务迁移
  • 在未来,客户可以针对自己标注的数据在特定领域的模型上进行微调,并行快速部署,创建私有的模型服务
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
Baichuan-M1-14B 是百川智能推出的首个开源医疗增强大模型,专为医疗场景优化,支持多语言、快速推理,具备强大的医疗推理能力和通用能力。
66 16
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
|
22天前
|
存储 人工智能 自然语言处理
AI Agent与SaaS工具协同发展的未来:企业智能化的全新范式
AI Agent以自主性和智能化为核心,适合复杂任务的动态执行;而SaaS工具则注重服务的完整性和易用性,适合标准化业务需求。
87 14
AI Agent与SaaS工具协同发展的未来:企业智能化的全新范式
|
2天前
|
机器学习/深度学习 人工智能 运维
智能日志分析:用AI点亮运维的未来
智能日志分析:用AI点亮运维的未来
33 13
|
18天前
|
人工智能 运维 负载均衡
智能运维新时代:AI在云资源管理中的应用与实践
智能运维新时代:AI在云资源管理中的应用与实践
121 23
|
9天前
|
人工智能 监控 安全
设计:智能医疗设备管理系统——AI医疗守护者
该系统将结合人工智能技术与区块链技术,实现对医疗设备的智能化管理。目标是提高医疗设备的管理效率,确保医疗设备的数据安全,优化医疗资源的配置,提升医疗服务质量。
|
8天前
|
机器学习/深度学习 存储 人工智能
AI实践:智能工单系统的技术逻辑与应用
智能工单系统是企业服务管理的核心工具,通过多渠道接入、自然语言处理等技术,实现工单自动生成、分类和分配。它优化了客户服务流程,提高了效率与透明度,减少了运营成本,提升了客户满意度。系统还依托知识库和机器学习,持续改进处理策略,助力企业在竞争中脱颖而出。
33 5
|
15天前
|
传感器 机器学习/深度学习 人工智能
智能电网巡检与传感器数据AI自动分析
智能电网设备巡检与传感器数据分析利用AI技术实现自动化分析和预警。通过信息抽取、OCR技术和机器学习,系统可高效处理巡检报告和实时数据,生成精准报告并提供故障预判和早期识别。AI系统24小时监控设备状态,实时发出异常警报,确保设备正常运行,提升运维效率和可靠性。
|
20天前
|
传感器 机器学习/深度学习 人工智能
技术分享:智能电网巡检与传感器数据自动分析——AI助力设备状态实时监控与故障预警
这篇文章介绍了AI在智能电网巡检与传感器数据分析中的应用,通过信息抽取、OCR识别和机器学习等技术,实现设备状态监控和故障预警的自动化。AI系统能够高效处理巡检报告和传感器数据,精准识别设备故障并实时预警,显著提升了电网运营的安全性和可靠性。随着AI技术的发展,其在智能电网管理中的作用将日益重要。
|
12天前
|
人工智能 编解码 自然语言处理
AI运用爆发时代, 视频服务云原生底座“视频云”架构的全智能再进化
本文介绍了AI运用爆发时代下,视频服务云原生底座“视频云”架构的全智能再进化。随着AI技术的发展,视频内容和交互方式正经历深刻变革。文章从背景、视频AI应用挑战、视频云网端底座、AIGC时代的全智能化及未来展望五个方面展开讨论。重点阐述了云、网、端三者如何深度融合,通过AI赋能视频采集、生产、分发和消费全流程,实现视频处理的智能化和高效化。同时,展望了未来AI在视频领域的创新应用和潜在的杀手级应用。
|
14天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。

相关产品

  • 日志服务