SLS智能巡检最佳实践:创建预测任务

简介: 日志服务 SLS 智能异常分析 APP 提供自动化、智能化模型训练能力,可以根据设定的历史数据区间进行监督建模。您可以使用模型训练任务通过监督的方式加强对自身数据的异常学习,来提升未来的异常预警的准确率,模型训练任务主要有以下优势:直接使用SLS的智能巡检功能,准确率不及预期,可以选择使用SLS的模型训练任务,来提升异常检测的准确性智能巡检检测出来的异常和您所认为的异常之间可能存在gap,这种情况

日志服务 SLS 智能异常分析 APP 提供自动化、智能化模型训练能力,可以根据设定的历史数据区间进行监督建模。您可以使用模型训练任务通过监督的方式加强对自身数据的异常学习,来提升未来的异常预警的准确率,模型训练任务主要有以下优势:

  1. 直接使用SLS的智能巡检功能,准确率不及预期,可以选择使用SLS的模型训练任务,来提升异常检测的准确性
  2. 智能巡检检测出来的异常和您所认为的异常之间可能存在gap,这种情况也建议您通过有监督的模型训练任务来自适应的检测所需要的异常类型。

阅读本文之前请先阅读:

SLS智能巡检最佳实践:针对有异常标签数据

智能巡检最佳实践:实现多维指标的巡检

流程概述

对于模型训练主要包含三个章节:针对有标签数据的配置、针对无标签数据的配置以及后续预测任务的配置

本文主要讲解预测任务的配置

模型训练作业中的预测任务,主要在模型训练任务完成并生成验证报告之后,对指定实体进行流式的异常检测。(创建的预测任务本质是智能巡检任务,与智能巡检结果和展示保持一致)

过程主要包含预测任务创建配置、数据处理和输出结果三个步骤。

  • 预测任务创建配置:通过模型训练结果展示中创建预测任务,通过选择特定的实体ID(即该实体对应的模型文件),以及选择预测开始时间、配置告警来进行预测任务的配置。
  • 数据处理:与智能巡检功能的数据处理一致,这里不赘述。
  • 输出结果:与智能巡检功能的数据处理一致,这里不赘述。

预测任务创建配置

在模型训练任务创建完成后,我们可以通过 智能异常分析 APP -> 模型训练 -> 作业标识 进入创建的模型训练作业,查看作业的结果。

在作业的结果页面,我们可以通过点击右上方的创建预测任务来打开创建界面:

创建预测任务界面如下:

  • 任务名:可以自定义,默认是模型训练任务名_predict
  • 实体表格: 可以通过左侧小方框来选择想要智能巡检的实体ID,可以通过实体信息进行选择
  • 起始时间: 对应于模型训练配置的结束时间(目前无法用户自主配置,后续会开放自由配置)
  • 数据延时时长:针对数据的写入延迟性设置(例如您当前的时间写入logstore中有60s的延迟,则此处最少设置60)
  • 告警配置: 如何获取钉钉请求地址,请参见 钉钉-自定义

此处也可以通过点击实体ID,继续点击创建预测任务,来打开创建预测任务配置界面,且通过这种方式可以自动的勾选选点击的实体ID

例如如下配置结束后点击完成

如果成功创建,界面会跳到实时检测界面,会出现我们刚才设置的任务名的预测任务(目前这个任务是不支持主动编辑的)

结果展示

点击作业标识:

可以查看特定实体的预测结果

相关 日志结果字段说明 可参考:

智能异常分析结果数据中的字段说明_日志服务-阿里云帮助中心

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4月前
|
分布式计算 监控 Spark
Spark 任务运行时日志分析
Spark 任务运行时日志分析
51 0
|
6月前
|
XML Java API
SpringBoot3.x日志生产最佳实践原来是这样!
SpringBoot3.x日志生产最佳实践原来是这样!
163 0
|
1月前
|
SQL 资源调度 Oracle
Flink CDC产品常见问题之sql运行中查看日志任务失败如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
分布式计算 DataWorks 调度
DataWorks常见问题之设置好调度时间的任务运行后查看运行日志报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
42 0
|
2月前
|
JSON 监控 Java
Java Web开发中的异常处理与日志记录最佳实践
Java Web开发中的异常处理与日志记录最佳实践
|
6月前
|
消息中间件 存储 Kafka
Flink集群使用kafka_appender收集flink产生的日志,但是现在实时运行的任务超过了
Flink集群使用kafka_appender收集flink产生的日志,但是现在实时运行的任务超过了
144 1
|
4月前
|
分布式计算 监控 Hadoop
Hadoop MR 任务运行时日志分析
Hadoop MR 任务运行时日志分析
26 0
|
4月前
|
人工智能 运维 监控
SLS 智能运维 AI 基础模型创新
SLS 全新发布运维场景基础模型,覆盖 Log、Metric、Trace 等可观测数据场景,模型提供开箱即用的异常检测、自动标注、分类和根因分析等能力;根因分析算法千级异常请求秒级定位,生产中准确率达95%;同时支持人工辅助微调,提供人工标注、结果打标修正,模型根据人工反馈自动微调,提升场景准确率。
91044 1
|
4月前
|
SQL 存储 监控
使用CloudLens for SLS监控Project资源配额最佳实践
本文主要介绍如何使用CloudLens for SLS中全局错误日志、监控指标做Project 资源配额的水位监控 、超限监控 以及 如何提交资源配额提升申请。
79337 19
使用CloudLens for SLS监控Project资源配额最佳实践
|
4月前
|
人工智能 运维 自然语言处理
AI Powered SLS 智能分析能力创新
随着云计算技术不断升级,承载业务的 IT 基础设施规模扩大,各个应用之间的链路关系变得越来越复杂,每时每刻都在产生海量级的日志。
97897 3