异常行为监控

简介: 用户系统中如果出现任何的异常数据,比如一个运维系统的CPU消耗突然增高,比如平台突然有大量不良信息产生,比如有用户大量薅羊毛,这些行为都是平台的异常指标。如果能通过机器学习的方式帮助用户针对各种异常指标做预防和实时预警,将大大建设平台方的风险。

业务背景

用户系统中如果出现任何的异常数据,比如一个运维系统的CPU消耗突然增高,比如平台突然有大量不良信息产生,比如有用户大量薅羊毛,这些行为都是平台的异常指标。如果能通过机器学习的方式帮助用户针对各种异常指标做预防和实时预警,将大大建设平台方的风险。

业务痛点

缺乏一种实时高效的方式监控平台指标,增强平台的智能化安全防卫能力。

解决方案

PAI平台提供了一套基于指标监控的分类算法,可以把异常指标监控抽象为一个二分类场景,并且把监控模型部署到在线系统实时调用,实现近线风控。

1.人力要求:需要懂机器学习经典算法特别是特征工程以及二分类算法的同学

2.开发周期:1-2天

3.数据要求:已经达标过的数据上千条,标记出哪些数据是异常数据,哪些是非异常数据

数据说明

文案例使用的数据是一份系统级别监控日志数据,一共22544条数据,其中异常数据9711条。

数据说明:

参数名称 参数描述
protocol_type 网络连接协议,有tcp、icmp、udp等
service 服务协议,有http、finger、pop、private、smtp等
flage SF、RSTO、REJ
a2~a38 不同的一些系统指标
class 标签字段,其中normal为正常样本,anomaly为异常样本

流程说明

进入PAI-Studio产品:https://pai.data.aliyun.com/console

该方案数据和实验环境已经内置于首页模板:

打开实验:

1. 数据源

数据说明中提到的数据。

2. 特征工程

one-hot特征编码组件可以自动将特征由字符型向数值型转变,是机器学习领域最常见的数据编码方式。

归一化组件可以将所有数据的范围都限定到0~1之间,去除量纲的影响。归一化后数据如下图:

利用SQL组件把目标列是anomaly的标记为1,正常指标标记为0。

select (case class  when 'anomaly' then 1 else 0 end) as class from  ${t1};

3. 模型训练

根据正常和非正常样本训练监控模型是一个典型的二分类问题,使用机器学习领域中的逻辑回归二分类算法就能达到比较好的效果。

4. 模型评估

PAI平台提供二分类模型的评估组件,可以通过AUC、KS、F1Score等指标评估模型的好坏,本实验的模型预测准确率超过了90%。

总结

PAI平台提供了特征编码、模型训练、模型评估全方位的功能,只要能把平台产生的异常行为的特征抽取出来并标记,就可以基于PAI快速构建异常指标监控模型。

相关实践学习
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
弹性计算 分布式计算 MaxCompute
华北1 ECS 数据如何免费且高速同步到华北2MaxCompute
用户业务早期开在了华北1青岛,想搭数据仓库,但华北1又没有MaxCompute,怎么办?如果华北1 ECS跨Region数据同步到华北2MaxCompute,是否产生额外的带宽费用和同步性能差? 今天小编亲自测试下华北1 ECS 通过经典网络数据同步到华北2MaxCompute,打消大家对费用和性能的担心。
2815 110
华北1 ECS 数据如何免费且高速同步到华北2MaxCompute
|
分布式计算 大数据 MaxCompute
中国唯一,阿里云进入Forrester大数据服务榜单
日前,全球权威调研机构Forrester发布《2018年一季度云端数据仓库》报告。报告对大数据服务商的主要功能、区域表现、细分市场和典型客户等进行了全面评估,最终AWS、阿里云、Google、微软四大巨头杀入全球一线阵营。
6555 110
|
存储 分布式计算 算法
|
新零售 分布式计算 MaxCompute
【转载】为什么只有好超市,才敢卖熟牛油果?
本文授权转载自“硅谷洞察”(微信公众号ID: Guigudiyixian) 版权归“硅谷洞察”所有,未经许可不得二次转载 在很多人的印象里,去市场或超市买水产海鲜,谈不上是一件多么享受的事情。但这两年突然爆红的盒马鲜生,则颠覆了人们的这种印象。
2775 110
|
分布式计算 DataWorks Java
[MaxCompute MapReduce实践]通过简单瘦身,解决Dataworks 10M文件限制问题
用户在DataWorks上执行MapReduce作业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,导致无法使用调度去定期执行MapReduce作业。 解决方案: jar -resources test_mr.
3834 110
|
关系型数据库 Python
|
存储 分布式计算 监控
MaxCompute2.0助力众安保险快速成长
摘要:2017云栖大会阿里云大数据计算服务(MaxCompute)专场,众安保险数据总监王超群带来MaxCompute助力众安保险方面的演讲。本文主要从MaxCompute优势开始谈起,进而谈及大数据能够公司运营带来的好处,最后重点分析了众安保险的数据平台建设,包括任务调度、元数据和数据质量监控等。
5229 110

热门文章

最新文章