Flink用法介绍(2)

简介: Flink用法介绍(2)
  • Reduce


源码


https://gitee.com/pingfanrenbiji/Flink-UserBehaviorAnalysis/blob/master/FlinkTutorial/src/main/scala/com/xdl/apitest/TransformTest.scala


KeyedStream、DataStream 一个分组数据流的聚合操作
合并当前的元素和上次聚合的结果 产生一个新的值
返回的流中包含每一次聚合的结果
而不是只返回最后一次聚合的最终结果


微信图片_20220425202156.png


image.png


image.png


image.png


  • Union


对两个或两个以上的DataStream进行union操作 产生一个包含所有DataStram元素的新的DataStream


connect和union区别


1、union之前两个流的类型必须一样 connect可以不一样 在之后的coMap中再调整成一样的
2、Connect只能操作两个流 Union可以操作多个


支持的数据类型


Flink流应用程序处理的是以数据对象表示事件流 
数据对象需要被序列化和反序列化 
以便通过网络传送它们或从状态后端、检查点和保存点读取它们


Flink使用类型信息的概念来表示数据类型 
并为每个数据类型生成特定的序列化器、反序列化器和比较器


Flink具有类型提取系统 该系统分析函数的输入和返回类型 
以自动获取类型信息 从而获取序列化和反序列化器


lamdba 函数或泛型类型 需要显示的提供类型信息 才能使得应用程序正常工作或提高性能


相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
Java 流计算
Flink broadcast的用法
Flink broadcast的用法
507 0
|
BI API 流计算
Flink window 用法介绍(3)
Flink window 用法介绍(3)
295 0
Flink window 用法介绍(3)
|
流计算 索引 Windows
Flink window 用法介绍(2)
Flink window 用法介绍(2)
225 0
Flink window 用法介绍(2)
|
消息中间件 传感器 NoSQL
Flink window 用法介绍(1)
Flink window 用法介绍(1)
340 0
Flink window 用法介绍(1)
|
传感器 流计算
Flink用法介绍(1)
Flink用法介绍(1)
306 0
Flink用法介绍(1)
|
SQL Java Maven
【Flink】小白级入门,Flink sql 的基础用法(下)
【Flink】小白级入门,Flink sql 的基础用法
584 0
|
SQL Java 大数据
【Flink】小白级入门,Flink sql 的基础用法(上)
【Flink】小白级入门,Flink sql 的基础用法
818 0
|
Java Scala 流计算
Flink用法介绍(3)
Flink用法介绍(3)
487 0
|
11月前
|
存储 分布式计算 数据处理
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
阿里云实时计算Flink团队,全球领先的流计算引擎缔造者,支撑双11万亿级数据处理,推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才,地点覆盖北京、杭州、上海。技术深度参与开源核心,打造企业级实时计算解决方案,助力全球企业实现毫秒洞察。
902 0
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
|
运维 数据处理 数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践,展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现,并对比自建Flink集群的优势。最后,报告评估了其成本效益,强调了其灵活扩展性和高投资回报率,适合各类实时数据处理需求。