Flink Ecosystems | 学习笔记(二)

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 快速学习 Flink Ecosystems

开发者学堂课程【开源 Flink 极客训练营Flink Ecosystems】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/760/detail/13343


Flink Ecosystems


7、Table Factory

如下图表格可以通过catalog外部系统能拿到。这两个情况都是会被转成一张cap table这样对象,这个 cap table 对象,当语句中引用 APP Li cable 去查询,或者去写Flink可能会通过 Table factory 的概念,创建 source 或者是 think,这张表要创建think就要创建 source,写这张表要创建think,创建了 source 和 think 以后,Source 和 think 负责实际数据的读写,创建 source 和 think 的模块就叫做table factory。如果看到这种错误提示,没有办法为这张表找到一个合适的地方。这个时候通常有两个地方需要检查,一个是不是缺少了对硬盘包,那另一种情况是说我包在,但是我开三个 table创建时候语句写错了,table property 缺少了一个关键字段,比如没有指定 topic,那这个时候应该说找不到一个合适的分寸,所以遇到这种错误首先从这两个方面去进行一些排查。

图片19.png

8、Legacy Connector Options

参数的名字上和这个所要求的参数上会更新的不一样,比如这张图里跟我们例子里介绍目的一样的一张top表,但是使用这个风格可能大家能看到,这种写法也是支持的,只不过它用的是老的这种写法。

 

图片20.png


二.常用 Connector

这个用的最多的blink是一个游戏引擎,最流行消息队列。如果要创建这个表需要指定一些特定的参数,比如后面带一个版本号,topic代表对应的topic,这个server broker的地址。book ID用它返需要指定customergroup。然后mode表示希望从什么点位开始消费数据,这个表里面的这个参数并不是所有的参数,如果想具体去了解还是参考这个官方文档上,那个上面会比较详细一点。

图片21.png

这是不同版本的价包,可以从官网中进行下载。

图片22.png

Elasticsearch Connector

指定的有4部分,hots是节点,index表示的是传统数据的一张表,document-type表中的某一行。

图片23.png

Key Handling

Elasticsearch的sink支持append模式和upsert模式·目标表定义了PK-upsert模式·目标表没有PK-append模式Upsert模式时,用所有的PK生成documentID用户可以指定key delimiter·某些类型的列不能作为PKROW、MAP等

这是不同版本的价包,可以从官网中进行下载。

图片24.png

FileSystem Connector

对应Flink的FileSystem抽象支持Local、Hadoop、S3、OSS等·支持分区采用与Hive相似的分区目录结构分区信息不需要注册到Catalog中支持StreamingSink,暂不支持StreamingSource·FileSystemConnector本身不需要添加额外的依赖可能需要特定FileSystem实现的依赖可能需要特定Format的依赖

如图的例子是展示如何创建一个表,表信息可以看到,这里指定了两个分区,字段是可见的合法MAC2,然后位置参数里指南就指定成了二次,指定的是文件的这个表目录这个路径,我们这个表具体使用的是通过路径的。路径的team来决定的,比如写的是file,表示这个表是一个本地的文件系统,写成HDFS,表是在H上,format数据格式把这些给for name。那我petition字段的值petition,字段值为null,写出来的这个目录名字应该一个supre petition enable,主要是用来动态程序,指定说数据需不需要,这个参数含义不太简单

图片25.png

Hive Connector

通过HiveCatalog对接Hive元数据

通过HiveTableSource、HiveTableSink读写Hive表数据·与Hive的兼容性支持多Hive版本,1.0.0~3.1.2支持多种文件格式,text,ORC,Parquet,SequenceFile,RCFile等·支持多种数据类型

Hive Dialect提供Hive风格语法·Hive批流一体数仓

Streaming Sink,Streaming Source,Lookup Join

使用HiveCatalog

这里举一个例子就是展示如何指定这个have pencil,那么通过某文件来指定某文件里have laptop如何配置

图片26.png

Hive Dependencies

这是4中 hive 的价包,可以从官网中进行下载。

图片27.png

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
传感器 存储 缓存
[尚硅谷flink学习笔记] 实战案例TopN 问题
这段内容是关于如何使用Apache Flink解决实时统计水位传感器数据中,在一定时间窗口内出现次数最多的水位问题,即"Top N"问题。首先,介绍了一个使用滑动窗口的简单实现,通过收集传感器数据,按照水位计数,然后排序并输出前两名。接着,提出了全窗口和优化方案,其中优化包括按键分区(按水位vc分组)、开窗操作(增量聚合计算count)和过程函数处理(聚合并排序输出Top N结果)。最后,给出了一个使用`KeyedProcessFunction`进行优化的示例代码,通过按键by窗口结束时间,确保每个窗口的所有数据到达后再进行处理,提高了效率。
374 1
|
前端开发 数据可视化 关系型数据库
用 PolarDB - X + Flink 搭建实时数据大屏|学习笔记(三)
快速学习用 PolarDB - X + Flink 搭建实时数据大屏
用 PolarDB - X + Flink 搭建实时数据大屏|学习笔记(三)
|
存储 运维 监控
如何开通实时计算 Flink 版|学习笔记(三)
快速学习如何开通实时计算 Flink 版
如何开通实时计算 Flink 版|学习笔记(三)
|
机器学习/深度学习 SQL 人工智能
实时计算 Flink 训练营场景与应用|学习笔记(三)
快速学习实时计算 Flink 训练营场景与应用
实时计算 Flink 训练营场景与应用|学习笔记(三)
|
SQL 存储 搜索推荐
实时计算 Flink 训练营场景与应用|学习笔记(二)
快速学习实时计算 Flink 训练营场景与应用
实时计算 Flink 训练营场景与应用|学习笔记(二)
|
SQL 存储 弹性计算
实时计算 Flink 与你相约阿里云|学习笔记(二)
快速学习实时计算 Flink 与你相约阿里云
实时计算 Flink 与你相约阿里云|学习笔记(二)
|
传感器 存储 Shell
走进 Apache Flink(二)|学习笔记
快速学习走进 Apache Flink
317 0
走进 Apache  Flink(二)|学习笔记
|
SQL 消息中间件 存储
Flink SQL_Table 介绍与实战(二)|学习笔记
快速学习 Flink SQL_Table 介绍与实战
365 0
Flink SQL_Table 介绍与实战(二)|学习笔记
|
负载均衡 Java 调度
Flink Runtime Architecture(二)|学习笔记
快速学习 Flink Runtime Architecture(二)
241 0
Flink Runtime Architecture(二)|学习笔记
|
存储 分布式计算 API
Stream Processing with Apache Flink(二)|学习笔记
快速学习 Stream Processing with Apache Flink
250 0

热门文章

最新文章