大数据-129 - Flink CEP 详解 Complex Event Processing - 复杂事件处理

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据-129 - Flink CEP 详解 Complex Event Processing - 复杂事件处理

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

Hadoop(已更完)

HDFS(已更完)

MapReduce(已更完)

Hive(已更完)

Flume(已更完)

Sqoop(已更完)

Zookeeper(已更完)

HBase(已更完)

Redis (已更完)

Kafka(已更完)

Spark(已更完)

Flink(正在更新!)

章节内容

上节我们完成了如下的内容:


Flink 并行度概念

全局并行度(Global Parallelism)、作业并行度(Job-level Parallelism)、Slot 并行度(Slot-level Parallelism)

Flink 并行度的设置方式

Flink 并行度的优化策略

基本介绍

Flink CEP(Complex Event Processing)是Apache Flink的一个组件,用于处理复杂事件流。它允许用户基于流数据定义模式,并检测符合这些模式的事件序列。Flink CEP适用于实时流数据处理中的模式匹配任务,如欺诈检测、设备监控、网络入侵检测等。


主要概念

Flink CEP 基于以下核心概念来进行复杂事件处理:


事件流: 事件是系统中需要处理的基础数据单元,通常是时间戳标记的。事件流是这些事件的连续序列。

模式: Flink CEP 允许定义匹配规则的模式,用来描述你希望在事件流中检测的事件序列。一个模式可以包括多个步骤,每个步骤可以对某些事件特征进行过滤。

状态机: Flink CEP 内部使用有限状态机来执行模式匹配。每个状态机都会跟踪事件流中事件是否满足定义的模式序列。事件可以触发状态转换,状态机会根据模式定义和事件发生顺序来移动。

时间处理: CEP支持事件时间和处理时间。事件时间是指事件发生的时间,而处理时间是Flink处理该事件的时间。可以通过Watermark机制来处理事件延迟或乱序问题。


Flink CEP 核心组件

Pattern API

Pattern类用于定义模式序列。你可以通过链式调用来指定各类条件,常见的模式组件包括:


begin(“stepName”):定义模式的起始步骤。

where(predicate):为当前步骤添加过滤条件。

next(“stepName”):定义紧接着的步骤,匹配时要求必须是事件的严格连续。

followedBy(“stepName”):定义松散连续匹配,事件之间可以存在无关事件。

PatternStream

一旦定义了模式,PatternStream是用于将模式应用到输入事件流的组件。可以通过CEP.pattern()方法创建一个PatternStream。匹配结果可以通过select()函数获取。


Conditions

在模式步骤中,你可以定义复杂的条件来过滤事件。除了基本的where(),Flink CEP还支持:


or():添加多个条件。

until():指定模式什么时候结束。

times():要求模式必须匹配多次。

事件匹配的策略

Flink CEP支持多种事件匹配策略,常用的有:


Strict Contiguity(严格连续):要求事件必须紧接着发生,没有其他不相关的事件出现。

Relaxed Contiguity(松散连续):允许在相关事件之间存在无关事件。

Non-Deterministic Relaxed Contiguity(非确定性松散连续):允许多个匹配路径。

Flink CEP 的应用场景

欺诈检测: 在金融领域,Flink CEP常用于检测用户账户的可疑行为。例如,检测短时间内多个高额转账行为,或定位多个失败的登录尝试。

设备监控: 通过CEP,企业可以实时监控工业设备的传感器数据,及时发现异常的操作模式,并生成告警。例如,设备温度连续超过阈值或设备运行状态频繁切换。

网络安全: 在网络安全领域,Flink CEP可以用于实时监控网络流量,识别可能的网络入侵或攻击模式。例如,检测连续出现的多次失败的登录尝试后紧接着的成功登录行为。

物流跟踪: 在物流行业中,可以使用CEP实时跟踪运输车辆的状态,监控是否出现延误或不正常的停留。Flink CEP可以根据车辆的GPS数据流,检测连续长时间静止的情况。

Flink CEP 的优势

实时性:Flink 本身是一款实时流处理框架,而CEP让其可以处理复杂的事件模式,使得用户可以实时检测和响应。

扩展性:Flink CEP基于分布式架构,能够处理高吞吐量的数据流并在大规模集群上运行。

灵活性:用户可以通过简单的API定义各种复杂的事件模式,满足各种不同的业务需求。

基础概念

基本定义

复合事件处理(Complex Event Processing, CEP)是一种基于动态环境中事件流的分析技术,事件在这里通常是有意义的状态变化,通过分析事件间的关系,利用过滤、关联、聚合等技术,根据事件间的时序关系和聚合关系制定检测规则,持续的从事件流中查询出符合要求的事件序列,最终分析得到更复杂的复合事件。


特征定义

CEP的特征如下:


目标:从有序的简单事件流中发现一些高阶特征

输入:一个或多个简单事件构成的事件流

处理:识别简单事件之间的联系,多个符合一定规则的简单事件构成复杂事件

输出:满足规则的复杂事件

功能概括

CEP用于分析低延迟、频繁产生的不同来源的事件流,CEP可以帮助在复杂的、不相关的时间流中找出有意义的模式和复杂的关系,以接近实时或准实时的获得通知或组织一些行为。

CEP支持在流上进行模式匹配,根据模式的不同,分为连续的条件或不连续的条件,模式条件允许有时间的限制,当条件范围内没有达到满足的条件时,会导致模式匹配超时。

看起来简单,但是它有很多不同的功能:


输入的流数据,尽快产生结果

在2个事件流上,基于时间进行聚合类的计算

提供实时/准实时的警告和通知

在多样的数据源中产生关联分析模式

高吞吐、低延迟的处理

市场上有多种CEP的解决方案,如Spark、Samza、Beam等,但是都没有提供专门的库支持,然而Flink提供了专门的CEP库。

主要组件

Flink为CEP提供了专门的Flink CEP Library,它包含以下的组件:EventStream、Pattern定义,Pattern检测和生成Alert。

首先,开发人员要在DataStream流上定义出模式条件,之后FlinkCEP引擎进行模式检测,必要时生成警告。

PatternAPI

处理事件的规则,被叫做模式(Pattern)。

FlinkCEP提供了PatternAPI用于对输入流数据进行复杂事件规定定义,用来提取符合规则的时间序列。

模式大致分为三类:


个体模式(Individual Patterns):组成复杂贵的每一个单独的模式定义,就是个体模式

组合模式(Combining Patterns 也叫序列模式):很多个体模式组合起来,就形成了整个的模式序列

模式组(Group Of Pattern):将一个模式序列作为条件嵌套在个体模式里,成为一组模式。

个体模式

个体模式包括单例模式和循环模式,单例模式只接受一个事件,而循环模式可以接受多个事件。


量词

可以在一个个体模式后追加量词,也就是指定循环次数。

// 匹配出现4次
start.time(4)
// 匹配出现0次或4次
start.time(4).optional
// 匹配出现2、3或4次
start.time(2,4)
// 匹配出现2、3或4次,并且尽可能多地重复匹配
start.time(2,4).greedy
// 匹配出现1次或多次
start.oneOrMore
// 匹配出现0、2或多次,并且尽可能多地重复匹配
start.timesOrMore(2).optional.greedy

条件

每个模式都需要指定触发条件,作为模式是否接受事件进入的判断依据。CEP中的个体模式主要通过 where、or、until来制定条件。按不同的调用方式,可以分成下面几类:


简单条件:通过where方法对事件中的字段进行判断筛选 start.where(event=>event.getName.startsWith(“foo”))

组合条件:将简单的条件进行合并,or方法表示或逻辑相连,where的直接组合就相当于and Pattern.where(event => …/some condition/).or(event => /or condition/)

终止条件:如果使用了oneOrMore或oneOrMore.optional,建议使用until作为终止条件,以便清理状态

迭代条件:能够对模式之前所有接受的事件进行处理,调用where,可以调用ctx.getEventForPattern(“name”)

模式序列

近邻模式

不同的近邻模式如下图

  • 严格近邻:所有事件按照严格的顺序出现,中间没有任何不匹配的事件,由next制定,例如对于模式:a next b,事件序列:a c b1 b2 没有匹配
  • 宽松近邻:允许中间出现不匹配的事件,由followedBy指定。例如对于模式 a followed by b,事件序列:a c b1 b2,匹配为:a, b1

    非确定性宽松近邻:进一步放宽条件,之前已经匹配过的事件也可以再次使用,由 followByAny指定,例如对于模式 a followerByAny b,事件序列:a c b1 b2,匹配为: ab1,ab2。

除了以上的序列模式外,还可以定义不希望出现某种近邻关系:


notNext 不想让某个事件严格近邻前一个事件发生

notFollowBy 不想让某个事件在两个事件之间发生

额外注意

我们需要注意:

所有模式序列必须以 begin 开始

模式序列不能以 notFollowedBy结束

not类型的模式不能被optional所修饰

可以为模式指定时间约束,用来要求在多长时间内匹配有效。

模式检测

指定要查找的模式序列后,就可以将其应用于输入流以检测潜在匹配。调用CEP.pattern(),给定输入流和模式,就能得到一个PatternStream

val input:DataStream[Event] = …
val pattern:Pattern[Event,_] = …
val patternStream:PatternStream[Event]=CEP.pattern(input,pattern)

匹配事件提取

创建 PatternStream之后,就可以应用select或者flatSelect方法,从检测到的事件序列中提取事件。

select()方法需要输入一个select function作为参数,每个成功匹配的事件序列都会调用它。

select()以一个Map[String, Iterable[IN]]来接收匹配到的事件序列,其中key就是每个模式的名称,而value就是所有接收到的事件的Iterable类型。

def selectFn(pattern : Map[String,Iterable[IN]]):OUT={
  val startEvent = pattern.get(“start”).get.next
  val endEvent = pattern.get(“end”).get.next
  OUT(startEvent, endEvent)
}

flatSelect通过实现PatternFlatSelectFunction实现与Select相似的功能,唯一的区别就是flatSelect方法可以返回多条记录,它通过一个Collector[OUT]类型的参数来将要输出的数据传递到下游。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2天前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
15 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
24天前
|
分布式计算 监控 大数据
大数据-131 - Flink CEP 案例:检测交易活跃用户、超时未交付
大数据-131 - Flink CEP 案例:检测交易活跃用户、超时未交付
58 0
|
3天前
|
分布式计算 大数据 OLAP
AnalyticDB与大数据生态集成:Spark & Flink
【10月更文挑战第25天】在大数据时代,实时数据处理和分析变得越来越重要。AnalyticDB(ADB)是阿里云推出的一款完全托管的实时数据仓库服务,支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力,将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发,分享如何将AnalyticDB与Spark和Flink集成,构建端到端的大数据处理流水线,实现数据的实时分析和处理。
14 1
|
24天前
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
49 1
|
22天前
|
消息中间件 分布式计算 Kafka
大数据平台的毕业设计02:Spark与实时计算
大数据平台的毕业设计02:Spark与实时计算
|
23天前
|
SQL 运维 大数据
大数据实时计算产品的对比测评
在使用多种Flink实时计算产品后,我发现Flink凭借其流批一体的优势,在实时数据处理领域表现出色。它不仅支持复杂的窗口机制与事件时间处理,还具备高效的数据吞吐能力和精准的状态管理,确保数据处理既快又准。此外,Flink提供了多样化的编程接口和运维工具,简化了开发流程,但在界面友好度上还有提升空间。针对企业级应用,Flink展现了高可用性和安全性,不过价格因素可能影响小型企业的采纳决策。未来可进一步优化文档和自动化调优工具,以提升用户体验。
95 0
|
24天前
|
SQL 大数据 API
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
40 0
|
24天前
|
SQL 消息中间件 分布式计算
大数据-130 - Flink CEP 详解 - CEP开发流程 与 案例实践:恶意登录检测实现
大数据-130 - Flink CEP 详解 - CEP开发流程 与 案例实践:恶意登录检测实现
36 0
|
23天前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
2天前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
17 1

热门文章

最新文章