Apache Flink源码解析之stream-windowfunction

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
简介: Window也即窗口,是Flink流处理的特性之一。前一篇文章我们谈到了Winodw的相关概念及其实现。窗口的目的是将无界的流转换为有界的元素集合,但这还不是最终的目的,最终的目的是在这有限的集合上apply(应用)某种函数,这就是我们本篇要谈的主题——WindowFunction(窗口函数)。

Window也即窗口,是Flink流处理的特性之一。前一篇文章我们谈到了Winodw的相关概念及其实现。窗口的目的是将无界的流转换为有界的元素集合,但这还不是最终的目的,最终的目的是在这有限的集合上apply(应用)某种函数,这就是我们本篇要谈的主题——WindowFunction(窗口函数)。

那么窗口函数会在什么时候被应用呢?还记得上篇文章我们谈到了触发器Trigger,在触发器触发后会返回TriggerResult这个枚举类型的其中一个枚举值。当返回的是FIRE或者FIRE_AND_PURGE时,窗口函数就会在窗口上应用。

Flink中将窗口函数分为两种:

  • AllWindowFunction : 针对全局的不基于某个key进行分组的window的窗口函数的实现
  • WindowFunction : 针对基于某个key进行分组的window的窗口函数的实现

它们在类型继承体系中分属两个不同的体系:

flink-stream-window-function_all-class-diagram

但可以看到,针对这两个体系几乎都提供了相同功能的窗口函数的实现。

AllWindowFunction

所有不基于某个key进行分组的window的窗口函数的实现的基类。该接口是个泛型接口,需要指定三个泛型参数:

  • IN :input数据的类型
  • OUT :output对象的类型
  • W : 继承自Window,表示需要在其上应用该操作的Window的类型

该接口只有一个接口方法:

    void apply(W window, Iterable<IN> values, Collector<OUT> out) throws Exception;

该方法用于在window上的元素集合values进行计算,然后out出0个或多个值。

RichAllWindowFunction

抽象类,继承AbstractRichFunction以提供rich 的AllWindowFunction(AbstractRichFunction提供了open/close方法对以及获得运行时上下文对象的手段)。我们在之前解析SourceFunctionSinkFunction时多次看到这种实现模式。这里该类不提供任何实现。

ReduceIterableAllWindowFunction

ReduceIterableAllWindowFunction用于对其窗口内的所有元素迭代应用reduce操作并合并为一个元素,然后再发射出去。它接收ReduceFunction的实例,以提供reduce函数。

该类apply方法实现如下:

    public void apply(W window, Iterable<T> input, Collector<T> out) throws Exception {

        T curr = null;
        for (T val: input) {
            if (curr == null) {
                curr = val;
            } else {
                curr = reduceFunction.reduce(curr, val);
            }
        }
        out.collect(curr);
    }

reduceFunction#reduce方法,用于将第一个参数和第二个参数进行合并为一个元素。

ReduceApplyAllWindowFunction

ReduceApplyAllWindowFunction用于对窗口内的所有元素进行reduce操作后再进行调用apply。其构造器接收两个参数:

  • reduceFunction : 提供reduce操作的ReduceFunction
  • windowFunction : 提供apply操作的AllWindowFunction,该参数用于对window中元素进行reduce之后产生的单个元素再进行最终的apply操作。

该类的apply实现如下:

public void apply(W window, Iterable<T> input, Collector<R> out) throws Exception {

        T curr = null;
        for (T val: input) {
            if (curr == null) {
                curr = val;
            } else {
                curr = reduceFunction.reduce(curr, val);
            }
        }
        windowFunction.apply(window, Collections.singletonList(curr), out);
    }

PassThroughAllWindowFunction

PassThroughAllWindowFunction该类仅仅提供passthrough功能,也即直接通过发射器将窗口内的元素迭代发射出去,除此之外不进行任何操作。

FoldApplyAllWindowFunction

FoldApplyAllWindowFunction用于对窗口中的数据先进行fold操作,得到一个最终合并的元素,再进行apply操作。因此它需要如下三个参数:

  • initialValue : 应用foldFunction的初始值
  • foldFunction :执行fold操作
  • windowFunction :对fold之后的最终值应用apply操作

该类继承自WrappingFunctionWrappingFunction类似于一个包装器,包装传进来的某个Function,给一些模式化方法(open/close)提供了一些便捷处理。

这里有一点需要区分一下,因为ReduceFunctionFoldFuction都具有将一组元素合并为单个元素的功能,所以他们看起来非常相似。不过他们还是有区别的,其中的一个区别就是,FoldFunction在进行fold操作的时候,还会进行潜在的类型转换。看下面的示例:

ReduceFunction<Integer> {

  public Integer reduce(Integer a, Integer b) { return a + b; }
}

[1, 2, 3, 4, 5] -> reduce()  means: ((((1 + 2) + 3) + 4) + 5) = 15
FoldFunction<String, Integer> {

  public String fold(String current, Integer i) { return current +
String.valueOf(i); }
}

[1, 2, 3, 4, 5] -> fold("start-")  means: ((((("start-" + 1) + 2) + 3) + 4)
+ 5) = "start-12345" (as a String)

WindowFunction

这是Flink的另一个基于key进行分组的WindowFunction。因此跟AllWindowFunction主要的不同的是,其泛型参数多了一个KEY,表示进行分组的key的类型。

同时其接口方法中也相应多了一个参数:

    void apply(KEY key, W window, Iterable<IN> input, Collector<OUT> out) throws Exception;

具体的实现跟AllWindowFunction的实现大同小异,不再多谈。

小结

本篇主要剖析了Flink提供的两种不同的窗口函数AllWindowFunction以及WindowFunction。并对Flink针对AllWindowFunction的实现进行了解读。



原文发布时间为:2016-05-12


本文作者:vinoYang


本文来自云栖社区合作伙伴CSDN博客,了解相关信息可以关注CSDN博客。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
1天前
|
算法 测试技术 C语言
深入理解HTTP/2:nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例,本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议,提高Web应用的性能和用户体验。对于实际开发中的应用,可以根据需要进一步优化和扩展代码,以满足具体需求。
41 29
|
8天前
|
存储 前端开发 JavaScript
在线教育网课系统源码开发指南:功能设计与技术实现深度解析
在线教育网课系统是近年来发展迅猛的教育形式的核心载体,具备用户管理、课程管理、教学互动、学习评估等功能。本文从功能和技术两方面解析其源码开发,涵盖前端(HTML5、CSS3、JavaScript等)、后端(Java、Python等)、流媒体及云计算技术,并强调安全性、稳定性和用户体验的重要性。
|
10天前
|
移动开发 前端开发 JavaScript
从入门到精通:H5游戏源码开发技术全解析与未来趋势洞察
H5游戏凭借其跨平台、易传播和开发成本低的优势,近年来发展迅猛。接下来,让我们深入了解 H5 游戏源码开发的技术教程以及未来的发展趋势。
|
13天前
|
存储 大数据 数据处理
您有一份 Apache Flink 社区年度报告请查收~
您有一份 Apache Flink 社区年度报告请查收~
|
16天前
|
机器学习/深度学习 自然语言处理 算法
生成式 AI 大语言模型(LLMs)核心算法及源码解析:预训练篇
生成式 AI 大语言模型(LLMs)核心算法及源码解析:预训练篇
115 0
|
2月前
|
自然语言处理 数据处理 索引
mindspeed-llm源码解析(一)preprocess_data
mindspeed-llm是昇腾模型套件代码仓,原来叫"modelLink"。这篇文章带大家阅读一下数据处理脚本preprocess_data.py(基于1.0.0分支),数据处理是模型训练的第一步,经常会用到。
75 0
|
3月前
|
存储 物联网 大数据
探索阿里云 Flink 物化表:原理、优势与应用场景全解析
阿里云Flink的物化表是流批一体化平台中的关键特性,支持低延迟实时更新、灵活查询性能、无缝流批处理和高容错性。它广泛应用于电商、物联网和金融等领域,助力企业高效处理实时数据,提升业务决策能力。实践案例表明,物化表显著提高了交易欺诈损失率的控制和信贷审批效率,推动企业在数字化转型中取得竞争优势。
146 16
|
Web App开发 监控 API
Flink技术源码解析(一):Flink概述与源码研读准备
一、前言 Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎,是当前实时处理领域的一颗炙手可热的新星。关于Flink与其它主流实时大数据处理引擎Storm、Spark Streaming的不同与优势,可参考https://blog.csdn.net/cm_chenmin/article/details/53072498。 出于技术人对技术本能的好奇与冲动,
32539 0
|
2月前
|
消息中间件 关系型数据库 MySQL
Flink CDC 在阿里云实时计算Flink版的云上实践
本文整理自阿里云高级开发工程师阮航在Flink Forward Asia 2024的分享,重点介绍了Flink CDC与实时计算Flink的集成、CDC YAML的核心功能及应用场景。主要内容包括:Flink CDC的发展及其在流批数据处理中的作用;CDC YAML支持的同步链路、Transform和Route功能、丰富的监控指标;典型应用场景如整库同步、Binlog原始数据同步、分库分表同步等;并通过两个Demo展示了MySQL整库同步到Paimon和Binlog同步到Kafka的过程。最后,介绍了未来规划,如脏数据处理、数据限流及扩展数据源支持。
232 0
Flink CDC 在阿里云实时计算Flink版的云上实践
|
3月前
|
存储 关系型数据库 BI
实时计算UniFlow:Flink+Paimon构建流批一体实时湖仓
实时计算架构中,传统湖仓架构在数据流量管控和应用场景支持上表现良好,但在实际运营中常忽略细节,导致新问题。为解决这些问题,提出了流批一体的实时计算湖仓架构——UniFlow。该架构通过统一的流批计算引擎、存储格式(如Paimon)和Flink CDC工具,简化开发流程,降低成本,并确保数据一致性和实时性。UniFlow还引入了Flink Materialized Table,实现了声明式ETL,优化了调度和执行模式,使用户能灵活调整新鲜度与成本。最终,UniFlow不仅提高了开发和运维效率,还提供了更实时的数据支持,满足业务决策需求。

推荐镜像

更多