开发者社区> 付空> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

基于实时计算(Flink)与高斯模型构建实时异常检测系统

简介: 案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 1. 概述 异常检测(anomaly detection)指的是对不符合预期模式或数据集(英语:dataset)中其他项目的项目、事件或观测值的识别。
+关注继续查看

案例与解决方案汇总页:
阿里云实时计算产品案例&解决方案汇总

1. 概述

异常检测(anomaly detection)指的是对不符合预期模式或数据集(英语:dataset)中其他项目的项目、事件或观测值的识别。实际应用包括入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检测等。

之前我曾经介绍过一种异常检测的解决方案《准实时异常检测系统》,但那个架构中Flink主要承担的还是检测后的分析,真正的异常检测被前置到了业务系统中。

在本文中,我将介绍一种直接使用Flink做实时异常检测的方案。

2. 异常检测算法

2.1 异常的种类

异常(离群点)分为三种类型:

  • 全局离群点,最基本的异常,即一个单独的远离群体的点;
  • 情境(或条件)离群点,该点在全局不算异常,但在某个上下文中却是异常的,比如人的性别为男性不是异常,但如果选定范围为女厕所,那么这个就是异常的;
  • 集体离群点,单个点不算异常,但一系列组合起来却是异常。比如偶尔的服务延迟不是异常,但如果整个系统大部分服务都延迟那就是异常。

本文以说明基本原理为主,所以使用最简单的全局离群点做例子,即只关注检测某个单独的事件是否偏离正常。

完整的异常分类可参考:这里

2.2 异常监测算法

关于异常检测有大量的算法,详细理论可参考scikit-learn的《 Novelty and Outlier Detection》一章。

本文选取最简单的一种算法,基于高斯分布分布的异常检测算法。

假设我们已经有了一组正常数据,x(1),x(2),..,x(m),那么针对新的数据x,我们判断这个x是否正常,可以计算x在正常数据中出现的概率如何,如果x出现的概率大于某个阈值,则为正常,否则即为异常,这种方法叫做密度估计。

image

那么我们可以假设,这些数据遵循高斯分布(正态分布),那么对某个特定的值来说,其在高斯分布的中间部分是比较正常的,在两端可能是异常的。

image

通常如果我们认为变量 x 符合高斯分布 x~N(μ,σ2),则其概率密度函数为:

image

异常检测算法的步骤为:

  • 对于给定的数据集 x(1),x(2),...,x(m),针对每一个特征计算 μ 和 σ2 的估计值,计算方法如下。
    image
  • 一旦我们获得了每个特征的平均值和方差的估计值,给定新的一个训练实例,根据模型计算每一特征的概率再相乘得到整体的概率:
    image

注:可能你要检测的事件只有一个特征,那么很显然就不用再乘了。

  • 选择一个阈值 ε,将 p(x)=ε 作为判定边界,当 p(x)>ε 时预测数据为正常数据,否则为异常,这样就完成了整个异常检测过程。
    注:阈值ε的选择可以直接估算一个,也可以简单训练得出,具体训练方式这里不再赘述,可参考这里

总结一下,其实整个模型我们只需要计算正常数据中每个特征的平均值和方差,再加上最终整体阈值,所以模型是非常小的,完全可以把这些数据计算出来后随代码一起发布。(当然从解耦性来说,最好能够独立存储,通过注册或配置的方式来发布)

3. 基于Flink和高斯分布的实时异常检测系统

前面介绍了异常检测的基本算法,那么本小节我们就基于Flink和高斯分布设计一个实时异常检测系统。

假设你是一个公司的运维人员,负责管理全公司的IT资源,为了保证公司IT稳定性,提前发现主机或者系统的问题,你设计了这样一个实时异常检测系统。

系统采用Kapp架构,关于Kappa架构的说明可参考:数据仓库介绍与实时数仓案例

系统架构与所选软件如下图所示:

image

数据源包括两个部分,主机运行信息与系统的运行日志,主机运行信息通过collectd 收集,系统运行日志通过Filebeat收集,二者均将数据推送到Kafka。

数据通过Kafka流转,支持Flink计算过程中的实时分层。

最终数据存储到Elastic Search中,并通过KIBANA可视化。

异常检测由实时计算Flink完成,计算过程很简单:

image

  • 数据清洗,把原始数据格式化;
  • 计算特征值,计算所选事件的特征,比如某个服务打印日志的频率就是一个特征,假如系统调用失败,则会打印一条失败记录,那么当系统打印失败记录的频率变高时,系统可能出现了问题;
  • 计算特征统计值,即找到该特征的高斯分布(确定平均值和方差即可确定高斯分布);

这里高斯分布直接在线计算,好处是随时可更新,没有显式的训练过程,缺点是可能受异常数据影响。另外一种方式是离线选取一些正常数据然后计算高斯分布。

  • 检测异常值,利用2.2节中的算法原理检测异常事件;
  • 输出,最后把检测出的异常数据写到下游;

好了,一个简单的实时异常检测系统就完成了。

4. 总结

在本文中,在Kappa架构上添加简单的异常检测算法即可完成一个简单有效的实时异常检测系统。

该架构具备良好的可扩展性,基于Flink的Kappa架构让系统能够应对超大规模数据流,并且能够在数据流转的过程中完成处理。

此外,虽然本文中直接把异常检测算法内置到了Flink的逻辑中,但实际的应用中很容易把通过算法API的方式让系统解耦:算法团队训练并提供一个用以判别某个事件或特征是否异常的算法服务,在Flink的处理过程中计算好特征值之后调用这个算法服务进行检测。

该方案来自真实的案例,如果有兴趣进一步了解,可参考下边资料:

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
贝壳基于 Flink 的实时计算演进之路
贝壳找房在实时计算之路上的平台建设以及实时数仓应用。
6036 0
【必看】如何正确使用实时计算 Flink 版?
本篇文章将从实时计算 Flink 版产品功能、产品架构、产品模式、产品优势、产品应用场景等全面呈现,同时还汇总了实时计算 Flink 版学习资料!更有特惠独享活动限时参与!
3080 0
免费下载!从入门到精通,实时计算 Flink 版独家实战秘籍
9天 Get 企业级大数据实战能力!阿里巴巴核心研发团队手把手教学~
24957 0
如何将实时计算 Flink 与自身环境打通
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 客训练营产品、技术专家齐上阵,从 Flink的发展、 Flink 的技术原理、应用场景及行业案例,到开源Flink功能介绍和实时计算 Flink 优势详解,现场实操,9天即可上手! 本篇内容将介绍如何实时计算 Flink 与自身环境打通。
5538 0
如何开通实时计算 Flink 版
本文由阿里巴巴产品专家赵开兴分享,主要介绍实时计算 Flink的开通、功能及使用,并通过多个演示示例进行详细demo演示。内容主要分享以下几部分:1、Blink独享集群使用介绍;2、Flink 全托管集群的使用
1792 0
【行业应用】阿里云实时计算 Flink 版游戏行业解决方案
游戏作为新兴崛起的娱乐产业,当下发展得如火如荼,其吸金能力和趣味性也吸引更多企业与人才投入其中。游戏行业公司主要分为发行和制作两类,游戏的类型可细分为手游、页游和端游三种,随着移动端设备的更新发展以及 5G 时代的降临,手游将迎来绝佳的发展时机。
2674 0
开源 Flink + 实时计算 Flink 版训练营学习资料汇总
Apache Flink 是一个开源的分布式大数据处理引擎, 可对有限数据流和无限数据流进行有状态计算。实时计算 Flink版是阿里云提供的基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由Apache Flink创始团队官方出品。
4977 0
实时计算 Flink 版 最佳实践
实时计算 Flink 版 最佳实践目录
9131 0
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
阿里云实时计算产品经理李佳林(风元)在 Flink 峰会的演讲。
563 0
+关注
付空
阿里云实时计算产品经理付空
22
文章
0
问答
来源圈子
更多
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
+ 订阅
相关文档: 实时计算(流计算)
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载