异常行为监控

简介: 用户系统中如果出现任何的异常数据,比如一个运维系统的CPU消耗突然增高,比如平台突然有大量不良信息产生,比如有用户大量薅羊毛,这些行为都是平台的异常指标。如果能通过机器学习的方式帮助用户针对各种异常指标做预防和实时预警,将大大建设平台方的风险。

业务背景

用户系统中如果出现任何的异常数据,比如一个运维系统的CPU消耗突然增高,比如平台突然有大量不良信息产生,比如有用户大量薅羊毛,这些行为都是平台的异常指标。如果能通过机器学习的方式帮助用户针对各种异常指标做预防和实时预警,将大大建设平台方的风险。

业务痛点

缺乏一种实时高效的方式监控平台指标,增强平台的智能化安全防卫能力。

解决方案

PAI平台提供了一套基于指标监控的分类算法,可以把异常指标监控抽象为一个二分类场景,并且把监控模型部署到在线系统实时调用,实现近线风控。

1.人力要求:需要懂机器学习经典算法特别是特征工程以及二分类算法的同学

2.开发周期:1-2天

3.数据要求:已经达标过的数据上千条,标记出哪些数据是异常数据,哪些是非异常数据

数据说明

文案例使用的数据是一份系统级别监控日志数据,一共22544条数据,其中异常数据9711条。

数据说明:

参数名称 参数描述
protocol_type 网络连接协议,有tcp、icmp、udp等
service 服务协议,有http、finger、pop、private、smtp等
flage SF、RSTO、REJ
a2~a38 不同的一些系统指标
class 标签字段,其中normal为正常样本,anomaly为异常样本

流程说明

进入PAI-Studio产品:https://pai.data.aliyun.com/console

该方案数据和实验环境已经内置于首页模板:

打开实验:

1. 数据源

数据说明中提到的数据。

2. 特征工程

one-hot特征编码组件可以自动将特征由字符型向数值型转变,是机器学习领域最常见的数据编码方式。

归一化组件可以将所有数据的范围都限定到0~1之间,去除量纲的影响。归一化后数据如下图:

利用SQL组件把目标列是anomaly的标记为1,正常指标标记为0。

select (case class  when 'anomaly' then 1 else 0 end) as class from  ${t1};

3. 模型训练

根据正常和非正常样本训练监控模型是一个典型的二分类问题,使用机器学习领域中的逻辑回归二分类算法就能达到比较好的效果。

4. 模型评估

PAI平台提供二分类模型的评估组件,可以通过AUC、KS、F1Score等指标评估模型的好坏,本实验的模型预测准确率超过了90%。

总结

PAI平台提供了特征编码、模型训练、模型评估全方位的功能,只要能把平台产生的异常行为的特征抽取出来并标记,就可以基于PAI快速构建异常指标监控模型。

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
5月前
|
SQL 关系型数据库 数据挖掘
PostgreSQL窗口函数从入门到实操
PostgreSQL窗口函数是数据分析利器:统计不丢行、细节全保留!本文用大白话讲透核心概念(分区/排序/窗口帧),配可运行示例,带你零基础掌握排名、移动平均、累积求和等高频场景,学完即用。
|
8月前
|
存储 监控 BI
IEC61850 标准分析
本节旨在深入概述IEC61850标准的结构和工作原理。首先,解释该标准的基本概念,然后简要介绍其内容。之后,逐一考察并详细分析该标准的各个部分。
807 0
|
机器学习/深度学习 算法 Java
java家政系统实现智能派单?
本项目旨在构建一个基于JAVA的家政系统,通过实时派单满足用户即时需求。系统涵盖用户需求收集、服务人员数据库管理、智能匹配算法(如综合评分、机器学习模型)、实时通信通知、订单状态跟踪及动态调整等功能。同时,优化用户体验,强化安全与隐私保护,并采用微服务架构确保高并发稳定性。通过持续数据分析与算法迭代,实现高效精准的智能派单,提升服务质量和客户满意度。
437 0
|
机器学习/深度学习 传感器 文字识别
传统OCR与深度学习OCR的较量
OCR(光学字符识别)技术经历了从传统手工特征提取到深度学习自动化处理的变革。本文对比传统OCR与深度学习OCR,从图像预处理到后处理,详解技术演进带来的速度、精度与扩展性飞跃。
528 0
ARM6818开发板画任意矩形,圆形,三角形,五角星,6818开发板画太极,画五星红旗(含码源与思路)
ARM6818开发板画任意矩形,圆形,三角形,五角星,6818开发板画太极,画五星红旗(含码源与思路)
963 0
|
存储 监控 负载均衡
Elasticsearch 集群副本
【8月更文挑战第24天】
512 13
|
SQL 存储 关系型数据库
SQL文件导入MySQL数据库的详细指南
数据库中的数据转移是一项常规任务,无论是在数据迁移过程中,还是在数据备份、还原场景中,导入导出SQL文件显得尤为重要。特别是在使用MySQL数据库时,如何将SQL文件导入数据库是一项基本技能。本文将详细介绍如何将SQL文件导入MySQL数据库,并提供一个清晰、完整的步骤指南。这篇文章的内容字数大约在
1974 1
|
前端开发 开发者
CSS颜色表示:探索预定义名称、RGB、HEX、HSL、RGBA和HSLA
CSS颜色表示:探索预定义名称、RGB、HEX、HSL、RGBA和HSLA
555 6
|
存储 安全 Linux
在Linux中,如何格式化一个磁盘分区?
在Linux中,如何格式化一个磁盘分区?
|
图形学
【制作100个unity游戏之26】unity2d横版卷轴动作类游戏1(附带项目源码)
【制作100个unity游戏之26】unity2d横版卷轴动作类游戏1(附带项目源码)
723 0

热门文章

最新文章