AI助力日志中心智能化运营

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: AIOps将人工智能应用于运维领域,基于已有的运维数据通过机器学习的方式来进一步解决自动化运维无法解决的问题。运维数据包含海量的日志数据,随着大数据分析水平的提升,需要更加精准地挖掘日志当中的信息。本文将主要介绍日志易在AIOps方面如何做出智能的日志中心以及日志在IT领域中发挥的价值。
摘要:AIOps将人工智能应用于运维领域,基于已有的运维数据通过机器学习的方式来进一步解决自动化运维无法解决的问题。运维数据包含海量的日志数据,随着大数据分析水平的提升,需要更加精准地挖掘日志当中的信息。本文将主要介绍日志易在AIOps方面如何做出智能的日志中心以及日志在IT领域中发挥的价值。

本场视频精彩回顾,戳这里!

演讲嘉宾简介:

饶琛琳,北京优特捷信息技术有限公司技术总监

以下内容根据演讲嘉宾视频分享整理而成。

本次的分享主要围绕以下三个方面:

一、智能日志中心介绍
二、AIOps场景与实现
三、日志易行业案例

一、 智能日志中心介绍
  5c4c7589fdb78559e32da8abcedb06810942956c
如图所示应用AIOps能力一共分为五级。对AIOps有想法,想要去尝试的人作为一级。二级和三级是目前想要达到的目的,二级需要达到单点应用,例如公司的监控系统原先固定了阈值,加入算法之后,监控在是否达到准确,能否避免手工劳动这一级别点上,符合AIOps的要求即可为单点应用。三级需要达到串联应用,例如目前整个监控系统都能达到比较好的层次,监控作为很大的模块概念,包括判断是否为告警的地方,告警发送给哪些人,发送的信息应该包含哪些关联的东西等,当将AI加入到这些场景后,可认为这一串执行都被AI化,接着可以将目标转为容量调度,这样的监控可认为达到三级水平。五级实现自动化有待发展。

数据是实施AI的主要地方,如何获取足够多和足够好的数据,进而完成AIOps的场景显得比较重要。就日志易的角度,期望提供一个日志平台,平台中大量的事情集中在如何采集数据、采集什么样的数据、对数据做怎样的处理,进而对上层的应用提供价值。时间戳是日志的关键信息,时间戳后的数值即为常见的监控消息,更广泛时,变更的事件例如某一时间点某一业务的上线也可作为一种日志事件,当日志平台真正做好AIOps时,需要提供全面的日志信息。就日志易而言,目前对很多基础架构类的设备都有内置的规则支持,有上百个app去集中支持各种基础架构类的、硬件设备类的、行业内部应用类的日志,在这种情况下接受的数据会自动地进行ETO处理,从而推动下一步统计分析和AIOps的实施。日志平台在数据处理上对AI提供价值。

二、 AIOps场景与实现
  c152c961ad0f2bbef5bb849cfbcebe474295d215
AIOps的应用场景有很多,目前日志易比较关注质量保证模块,质量保证需要考虑如何发现故障、定位故障。
  0e44073627aa089d875a358baa137f4a0d9500f1
在日志易和阿里的AIOps合作中,首先寻找快速定位故障的方法,当故障到达时,可以通过多种方法去发现故障,例如仅基于KTI指标互相之间的关联去解决。接着通过机器学习、人工智能的办法将故障定位范围进一步缩小。当获取告点和问题根因后,结合业务拓扑情况作出最终决策。
ae2f794f0f57ec7f029f360fa4a09003b577b43c 
在将日志变为告警的过程中,首先从日志本身可以得到大量的监控指标信息,例如固定分钟的404错误数量、响应时间等,单从访问日志中可以获取更多维度的监控指标, GOC通过算法从这些监控数据中获取精准的、非人工设置的告警数据。在单个监控异常指标发现的基础上,当梳理得到整个业务拓扑时,每个业务本身实际状态好不好受很多指标影响,指标影响具有一定权重,通过单个KPI异常的情况经过不同的分级和权重,进而推导出实际业务对用户体验的影响程度。经过从日志到指标异常到真正业务影响程度的整个过程,用户根据严重程度判断是否真正需要关注某一问题。
  1bace3d41900ceb23bb8bdd493fc2b6c2fffb4a3
在获取的告警落到日志的排查方式时,假设有8条日志,进行归并排序后可变为4行,经过不断的信息归并,所有的日志都将与通配符匹配,真正的日志归并为肉眼可视的状态下即可。
  9f513ff463b1c2ca896e9cf55d2bb03900144825
在实际应用中,当用户排查问题时可能会有几千条日志,而用户实际只需关注机器学习得到的模式即可。
  96fc282fc3cc2b0a0f3f67f681923b57a9f57ba9
当用户确实在日志异常检测中获得帮助时,可以将临时故障排查转换为定时故障排查。在定时故障排查中,通过模式识别和参数识别排查异常,异常并不一定就是问题,当出现没有见过的异常处理的分支日志时,系统会将获取异常分支,判断该异常是否为问题,从而将日志文本发现的问题转化为指标分析、标准的修正反馈。

三、 日志易行业案例
  72b4abe928e42cafe9fc9b9d999d8c1302a75e47
金融业与互联网业有着很多相似之处。日志易在金融客户的应用中,交易状态的实时统计包括交易量、成功率、各个不同失败纬度的统计等。在业务流程链中,当业务模块出现问题时,用户可以通过点击跳转到对应业务线的仪表盘,所有的仪表盘可以通过灵活配置使其一层一层转到某一点,该过程表现为故障知识积累。
  60bd8fd60ed11565ff86d5643e58dda144efa183
当业务请求出现问题时,例如某一时间点的某一笔交易出现异常时,系统会清晰显示交易的时序图,展现交易流经的模块和反复出现的交易以及出现问题的交易。该系统展示更适合于类似银行业等传统行业中,通过总线传输大量的后台请求,在一个模块中进行多次反复交易。
  b43ff6d41709ccc9bc2b50f3a1427319b81ce61d
同时得到告警后系统会进行更复杂的一些操作,包括告警的自动归并、告警人工处理记录、告警处理效率监控等。
  7cb7ba66f19723428fac10aef9d22d726ead7be7
日志易在运营商客户的应用中,在处理类似手机充值的业务时,后台的业务逻辑比较复杂,系统会每5分钟统计所有步骤之间的差异情况并进行显示反映,系统会以两种不同的方式反映情况,针对客服人员,中间每一步串联的信息都会隐藏掉。正常情况下会列出每一步的详细信息,从而在拿到大量告警进行排查中节省大量时间。
  6334ceaf337d98e801b484c1473cfff8ced0c99c
同时在营业厅柜员的操作分析中,可以深入到每一位柜员的执行情况、工作是否认真负责,同时显示所有营业厅的分布情况、柜员操作请求号的排序统计等。
  0220c44f9df16e8d8f977924978857b2f519b920
运营商在网络维护投入很大力量,阿里巴巴同时给运营商做GSLB,CDN,DNS的日志分析,查看CDN命中率的情况、带宽的情况等。在做DNS日志分析时,互联网公司本身的权威DNS认证量不是很大,相对的运营商会承担大量的DNS请求,通过将DNS请求的分析,包括请求目的地、返回较多的域名、请求量上的异常等变为实时监控指标从而快速进行监控。 
  6c382c63e74fdaeee1d0252be4284aeee00482fc
运营商除了做互联网业务,同时承担一些家庭业务。人们每一次调台或进行直播点播的切换时,机顶盒产生的数据也可以用来进行更详细的分析。当点播电影产生卡顿时,系统通过分析机顶盒产生的数据,显示流用户和点播用户的情况、卡顿发生的点、卡顿时的码率、具体播放的节目等,从而提高运维人员的业务可用性和用户体验指标。

本文由云栖志愿小组丁匀泰整理,编辑百见

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
18天前
|
人工智能 供应链 数据可视化
一文读懂AI引擎与Together规则引擎重塑智能决策
从1950年图灵提出人工智能设想到如今AI引擎实现自主决策,Together规则引擎正成为智能决策核心。它通过动态规划、多工具调用与持续学习机制,赋能供应链、财务、定价等场景,提升决策透明度与效率。Together助力AI引擎突破落地瓶颈,推动企业管理迈向“决策即服务”新时代。
|
6天前
|
SQL 传感器 人工智能
生成更智能,调试更轻松,SLS SQL Copilot 焕新登场!
阿里云日志服务(SLS)推出智能分析助手 SLS SQL Copilot,融合 AI 技术与日志分析最佳实践,将自然语言转换为 SQL 查询,降低使用门槛,提升查询效率。其具备原生集成、智能语义理解与高效执行能力,助力用户快速洞察日志数据价值,实现智能化日志分析新体验。
|
6天前
|
传感器 人工智能 边缘计算
智能就在身边:AI如何优化边缘计算
智能就在身边:AI如何优化边缘计算
61 2
|
24天前
|
JSON 人工智能 Java
基于Spring AI构建智能Text-to-SQL转换器:一个完整的MCP
Spring AI 更新结构化输出转换器,弃用旧版 Parser 类,引入与 Spring 框架对齐的 Converter 体系,提升命名规范与功能兼容性。新版本支持 JSON、XML 及 Java 对象转换,确保 LLM 输出结构化,便于下游应用处理。
|
6天前
|
人工智能 机器人 新能源
深化新工科建设 共探智能新未来 | 阿里云支持南京大学苏州校区“AI DAY”盛大启幕丨云工开物
9月12日,南京大学苏州校区举办“AI新视界:深化新工科建设进行式”活动,采用教师与学生双专场模式,通过主题分享、实践演练、产业课题发布等形式,搭建产教融合AI交流平台,助力未来产业科技人才培养。
|
6天前
|
机器学习/深度学习 人工智能 运维
运维告警别乱飞了!AI智能报警案例解析
运维告警别乱飞了!AI智能报警案例解析
56 0
|
20天前
|
人工智能 测试技术 调度
写用例写到怀疑人生?AI 智能测试平台帮你一键生成!
霍格沃兹测试开发学社推出AI智能测试用例生成功能,结合需求文档一键生成高质量测试用例,大幅提升效率,减少重复劳动。支持自定义提示词、多文档分析与批量管理,助力测试人员高效完成测试设计,释放更多时间投入核心分析工作。平台已开放内测,欢迎体验!
|
1月前
|
存储 人工智能 安全
告别AI焦虑,阿里云上的Salesforce给出了智能化路线图
在AI技术从“炫技”转向“实用”的关键拐点,阿里云上的Salesforce以“安全可信、生态适配”为基石,提出AI落地的“三步走”策略,助力企业打通AI应用的“最后一公里”。通过AI Actions建立信任、CXG RAG盘活数据、Agentic Experiences重塑流程,为企业提供可落地、可扩展、可持续的AI增长路径。
|
1月前
|
传感器 人工智能 算法
戴上眼睛就能“开挂”?AI智能隐形眼镜正在悄悄改变生活
戴上眼睛就能“开挂”?AI智能隐形眼镜正在悄悄改变生活
71 0
|
6天前
|
SQL 传感器 人工智能
生成更智能,调试更轻松,SLS SQL Copilot 焕新登场!
本文是阿里云日志服务(SLS)首次对外系统性地揭秘 SLS SQL Copilot 背后的产品理念、架构设计与核心技术积淀。我们将带你深入了解,这一智能分析助手如何从用户真实需求出发,融合前沿 AI 能力与 SLS 十余年日志分析最佳实践,打造出面向未来的智能化日志分析体验。

热门文章

最新文章