基于实时计算(Flink)与高斯模型构建实时异常检测系统

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 1. 概述 异常检测(anomaly detection)指的是对不符合预期模式或数据集(英语:dataset)中其他项目的项目、事件或观测值的识别。

案例与解决方案汇总页:
阿里云实时计算产品案例&解决方案汇总

1. 概述

异常检测(anomaly detection)指的是对不符合预期模式或数据集(英语:dataset)中其他项目的项目、事件或观测值的识别。实际应用包括入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检测等。

之前我曾经介绍过一种异常检测的解决方案《准实时异常检测系统》,但那个架构中Flink主要承担的还是检测后的分析,真正的异常检测被前置到了业务系统中。

在本文中,我将介绍一种直接使用Flink做实时异常检测的方案。

2. 异常检测算法

2.1 异常的种类

异常(离群点)分为三种类型:

  • 全局离群点,最基本的异常,即一个单独的远离群体的点;
  • 情境(或条件)离群点,该点在全局不算异常,但在某个上下文中却是异常的,比如人的性别为男性不是异常,但如果选定范围为女厕所,那么这个就是异常的;
  • 集体离群点,单个点不算异常,但一系列组合起来却是异常。比如偶尔的服务延迟不是异常,但如果整个系统大部分服务都延迟那就是异常。

本文以说明基本原理为主,所以使用最简单的全局离群点做例子,即只关注检测某个单独的事件是否偏离正常。

完整的异常分类可参考:这里

2.2 异常监测算法

关于异常检测有大量的算法,详细理论可参考scikit-learn的《 Novelty and Outlier Detection》一章。

本文选取最简单的一种算法,基于高斯分布分布的异常检测算法。

假设我们已经有了一组正常数据,x(1),x(2),..,x(m),那么针对新的数据x,我们判断这个x是否正常,可以计算x在正常数据中出现的概率如何,如果x出现的概率大于某个阈值,则为正常,否则即为异常,这种方法叫做密度估计。

image

那么我们可以假设,这些数据遵循高斯分布(正态分布),那么对某个特定的值来说,其在高斯分布的中间部分是比较正常的,在两端可能是异常的。

image

通常如果我们认为变量 x 符合高斯分布 x~N(μ,σ2),则其概率密度函数为:

image

异常检测算法的步骤为:

  • 对于给定的数据集 x(1),x(2),...,x(m),针对每一个特征计算 μ 和 σ2 的估计值,计算方法如下。
    image
  • 一旦我们获得了每个特征的平均值和方差的估计值,给定新的一个训练实例,根据模型计算每一特征的概率再相乘得到整体的概率:
    image

注:可能你要检测的事件只有一个特征,那么很显然就不用再乘了。

  • 选择一个阈值 ε,将 p(x)=ε 作为判定边界,当 p(x)>ε 时预测数据为正常数据,否则为异常,这样就完成了整个异常检测过程。
    注:阈值ε的选择可以直接估算一个,也可以简单训练得出,具体训练方式这里不再赘述,可参考这里

总结一下,其实整个模型我们只需要计算正常数据中每个特征的平均值和方差,再加上最终整体阈值,所以模型是非常小的,完全可以把这些数据计算出来后随代码一起发布。(当然从解耦性来说,最好能够独立存储,通过注册或配置的方式来发布)

3. 基于Flink和高斯分布的实时异常检测系统

前面介绍了异常检测的基本算法,那么本小节我们就基于Flink和高斯分布设计一个实时异常检测系统。

假设你是一个公司的运维人员,负责管理全公司的IT资源,为了保证公司IT稳定性,提前发现主机或者系统的问题,你设计了这样一个实时异常检测系统。

系统采用Kapp架构,关于Kappa架构的说明可参考:数据仓库介绍与实时数仓案例

系统架构与所选软件如下图所示:

image

数据源包括两个部分,主机运行信息与系统的运行日志,主机运行信息通过collectd 收集,系统运行日志通过Filebeat收集,二者均将数据推送到Kafka。

数据通过Kafka流转,支持Flink计算过程中的实时分层。

最终数据存储到Elastic Search中,并通过KIBANA可视化。

异常检测由实时计算Flink完成,计算过程很简单:

image

  • 数据清洗,把原始数据格式化;
  • 计算特征值,计算所选事件的特征,比如某个服务打印日志的频率就是一个特征,假如系统调用失败,则会打印一条失败记录,那么当系统打印失败记录的频率变高时,系统可能出现了问题;
  • 计算特征统计值,即找到该特征的高斯分布(确定平均值和方差即可确定高斯分布);

这里高斯分布直接在线计算,好处是随时可更新,没有显式的训练过程,缺点是可能受异常数据影响。另外一种方式是离线选取一些正常数据然后计算高斯分布。

  • 检测异常值,利用2.2节中的算法原理检测异常事件;
  • 输出,最后把检测出的异常数据写到下游;

好了,一个简单的实时异常检测系统就完成了。

4. 总结

在本文中,在Kappa架构上添加简单的异常检测算法即可完成一个简单有效的实时异常检测系统。

该架构具备良好的可扩展性,基于Flink的Kappa架构让系统能够应对超大规模数据流,并且能够在数据流转的过程中完成处理。

此外,虽然本文中直接把异常检测算法内置到了Flink的逻辑中,但实际的应用中很容易把通过算法API的方式让系统解耦:算法团队训练并提供一个用以判别某个事件或特征是否异常的算法服务,在Flink的处理过程中计算好特征值之后调用这个算法服务进行检测。

该方案来自真实的案例,如果有兴趣进一步了解,可参考下边资料:

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
目录
相关文章
消息中间件 存储 传感器
47 0
|
1月前
|
存储 分布式计算 数据处理
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
阿里云实时计算Flink团队,全球领先的流计算引擎缔造者,支撑双11万亿级数据处理,推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才,地点覆盖北京、杭州、上海。技术深度参与开源核心,打造企业级实时计算解决方案,助力全球企业实现毫秒洞察。
366 0
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
|
3月前
|
Java 调度 流计算
基于Java 17 + Spring Boot 3.2 + Flink 1.18的智慧实验室管理系统核心代码
这是一套基于Java 17、Spring Boot 3.2和Flink 1.18开发的智慧实验室管理系统核心代码。系统涵盖多协议设备接入(支持OPC UA、MQTT等12种工业协议)、实时异常检测(Flink流处理引擎实现设备状态监控)、强化学习调度(Q-Learning算法优化资源分配)、三维可视化(JavaFX与WebGL渲染实验室空间)、微服务架构(Spring Cloud构建分布式体系)及数据湖建设(Spark构建实验室数据仓库)。实际应用中,该系统显著提升了设备调度效率(响应时间从46分钟降至9秒)、设备利用率(从41%提升至89%),并大幅减少实验准备时间和维护成本。
258 0
|
6月前
|
SQL 存储 API
Flink Materialized Table:构建流批一体 ETL
Flink Materialized Table:构建流批一体 ETL
103 3
|
6月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
395 2
|
7月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
706 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
7月前
|
SQL 存储 API
Flink Materialized Table:构建流批一体 ETL
本文整理自阿里云智能集团 Apache Flink Committer 刘大龙老师在2024FFA流批一体论坛的分享,涵盖三部分内容:数据工程师用户故事、Materialized Table 构建流批一体 ETL 及 Demo。文章通过案例分析传统 Lambda 架构的挑战,介绍了 Materialized Table 如何简化流批处理,提供统一 API 和声明式 ETL,实现高效的数据处理和维护。最后展示了基于 Flink 和 Paimon 的实际演示,帮助用户更好地理解和应用这一技术。
655 7
Flink Materialized Table:构建流批一体 ETL
|
8月前
|
SQL 监控 关系型数据库
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享,介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长,公司面临数据库性能瓶颈及实时数据处理需求,通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题,并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。
649 25
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
|
8月前
|
消息中间件 关系型数据库 MySQL
Flink CDC 在阿里云实时计算Flink版的云上实践
本文整理自阿里云高级开发工程师阮航在Flink Forward Asia 2024的分享,重点介绍了Flink CDC与实时计算Flink的集成、CDC YAML的核心功能及应用场景。主要内容包括:Flink CDC的发展及其在流批数据处理中的作用;CDC YAML支持的同步链路、Transform和Route功能、丰富的监控指标;典型应用场景如整库同步、Binlog原始数据同步、分库分表同步等;并通过两个Demo展示了MySQL整库同步到Paimon和Binlog同步到Kafka的过程。最后,介绍了未来规划,如脏数据处理、数据限流及扩展数据源支持。
543 0
Flink CDC 在阿里云实时计算Flink版的云上实践

相关产品

  • 实时计算 Flink版