开发者社区> 问答> 正文

说说Flink中常用的算子?用过哪些?

说说Flink中常用的算子?用过哪些?

展开
收起
茶什i 2019-11-21 10:38:51 2042 0
1 条回答
写回答
取消 提交回答
  • 举一些常用的例子:

    flink中提供的大量的算子,下面将介绍常用的算子操作方式:

    map

    DataStream --> DataStream:输入一个参数产生一个参数,map的功能是对输入的参数进行转换操作。

    flatMap

    DataStream --> DataStream:输入一个参数,产生0、1或者多个输出,这个多用于拆分操作

    filter

    DataStream --> DataStream:结算每个元素的布尔值,并返回为true的元素

    keyBy

    DataSteam --> DataStream:逻辑地将一个流拆分成不相交的分区,每个分区包含具有相同key的元素,在内部以hash的形式实现的。以key来分组。

    注意:以下类型无法作为key

    POJO类,且没有实现hashCode函数 任意形式的数组类型 reduce

    KeyedStream --> DataStream:滚动合并操作,合并当前元素和上一次合并的元素结果。

    fold

    KeyedStream --> DataStream:用一个初始的一个值,与其每个元素进行滚动合并操作。

    aggregation

    KeyedStream --> DataStream:分组流数据的滚动聚合操作:min和minBy的区别是min返回的是一个最小值,而minBy返回的是其字段中包含的最小值的元素(同样元原理适用于max和maxBy)

    window

    KeyedStream --> DataStream:windows是在一个分区的KeyedStreams中定义的,windows根据某些特性将每个key的数据进行分组(例如:在5s内到达的数据)。

    windowAll

    DataStream --> AllWindowedStream:Windows可以在一个常规的DataStream中定义,Windows根据某些特性对所有的流(例如:5s内到达的数据)。

    注意:这个操作在很多情况下都不是并行操作的,所有的记录都会聚集到一个windowAll操作的任务中

    window apply

    WindowedStream --> DataStream

    AllWindowedStream --> DataStream:将一个通用的函数作为一个整体传递给window。

    window reduce

    WindowedStream --> DataStream:给窗口赋予一个reduce的功能,并返回一个reduce的结果。

    window fold

    WindowedStream --> DataStream:给窗口赋予一个fold的功能,并返回一个fold后的结果。

    aggregation on windows

    WindowedStream --> DataStream:对window的元素做聚合操作,min和minBy的区别是min返回的是最小值,而minBy返回的是包含最小值字段的元素。(同样原理适用于max和maxBy)

    union

    DataStream --> DataStream:对两个或两个以上的DataStream做union操作,产生一个包含所有的DataStream元素的新DataStream。

    注意:如果将一个DataStream和自己做union操作,在新的DataStream中,将看到每个元素重复两次

    window join

    DataStream,DataStream --> DataStream:根据给定的key和window对两个DataStream做join操作

    window coGroup

    DataStream,DataStream --> DataStream:根据一个给定的key和window对两个DataStream做CoGroups操作。

    connect

    DataStream,DataStream --> ConnectedStreams:连接两个保持它们类型的数据流。

    coMap、coFlatMap

    ConnectedStreams --> DataStream:作用于connected数据流上,功能与map和flatMap一样。

    split

    DataStream --> SplitStream:根据某些特征把一个DataStream拆分成两个或多个DataStream

    select

    SplitStream --> DataStream:从一个SplitStream中获取一个或多个DataStream

    iterate

    DataStream --> IterativeStream --> DataStream:在流程中创建一个反馈循环,将一个操作的输出重定向到之前的操作,这对于定义持续更新模型的算法来说很有意义的。

    extract timestamps

    DataStream --> DataStream:提取记录中的时间戳来跟需要事件时间的window一起发挥作用。

    2019-11-21 10:39:11
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 覃立辉 立即下载
Flink CDC Meetup PPT - 孙家宝 立即下载
Flink CDC Meetup PPT - 徐榜江 立即下载