开发者学堂课程【开源 Flink 极客训练营:Flink Ecosystems】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/760/detail/13343
Flink Ecosystems
7、Table Factory
如下图表格可以通过catalog外部系统能拿到。这两个情况都是会被转成一张cap table这样对象,这个 cap table 对象,当语句中引用 APP Li cable 去查询,或者去写Flink可能会通过 Table factory 的概念,创建 source 或者是 think,这张表要创建think就要创建 source,写这张表要创建think,创建了 source 和 think 以后,Source 和 think 负责实际数据的读写,创建 source 和 think 的模块就叫做table factory。如果看到这种错误提示,没有办法为这张表找到一个合适的地方。这个时候通常有两个地方需要检查,一个是不是缺少了对硬盘包,那另一种情况是说我包在,但是我开三个 table创建时候语句写错了,table property 缺少了一个关键字段,比如没有指定 topic,那这个时候应该说找不到一个合适的分寸,所以遇到这种错误首先从这两个方面去进行一些排查。
8、Legacy Connector Options
参数的名字上和这个所要求的参数上会更新的不一样,比如这张图里跟我们例子里介绍目的一样的一张top表,但是使用这个风格可能大家能看到,这种写法也是支持的,只不过它用的是老的这种写法。
二.常用 Connector
这个用的最多的blink是一个游戏引擎,最流行的消息队列。如果要创建这个表需要指定一些特定的参数,比如后面带一个版本号,topic代表对应的topic,这个server broker的地址。book ID用它返回需要指定customergroup。然后mode表示希望从什么点位开始消费数据,这个表里面的这个参数并不是所有的参数,如果想具体去了解还是参考这个官方文档上,那个上面会比较详细一点。
这是不同版本的价包,可以从官网中进行下载。
Elasticsearch Connector
指定的有4部分,hots是节点,index表示的是传统数据的一张表,document-type表中的某一行。
Key Handling
Elasticsearch的sink支持append模式和upsert模式·目标表定义了PK-upsert模式·目标表没有PK-append模式,Upsert模式时,用所有的PK生成documentID。用户可以指定key delimiter·某些类型的列不能作为PK:ROW、MAP等
这是不同版本的价包,可以从官网中进行下载。
FileSystem Connector
对应Flink的FileSystem抽象,支持Local、Hadoop、S3、OSS等·支持分区,采用与Hive相似的分区目录结构,分区信息不需要注册到Catalog中,支持StreamingSink,暂不支持StreamingSource·FileSystemConnector本身不需要添加额外的依赖,可能需要特定FileSystem实现的依赖,可能需要特定Format的依赖
如图的例子是展示如何创建一个表,表信息可以看到,这里指定了两个分区,字段是可见的合法MAC2,然后位置参数里指南就指定成了二次,指定的是文件的这个表目录这个路径,我们这个表具体使用的是通过路径的。路径的team来决定的,比如写的是file,表示这个表是一个本地的文件系统,写成HDFS,表是在H上,format数据格式把这些给for name。那我petition字段的值petition,字段值为null,写出来的这个目录名字应该一个supre petition enable,主要是用来动态程序,指定说数据需不需要,这个参数含义不太简单
Hive Connector
通过HiveCatalog对接Hive元数据
通过HiveTableSource、HiveTableSink读写Hive表数据·与Hive的兼容性,支持多Hive版本,1.0.0~3.1.2,支持多种文件格式,text,ORC,Parquet,SequenceFile,RCFile等·支持多种数据类型
Hive Dialect提供Hive风格语法·Hive批流一体数仓
Streaming Sink,Streaming Source,Lookup Join
使用HiveCatalog
这里举一个例子就是展示如何指定这个have pencil,那么通过某文件来指定某文件里have laptop如何配置。
Hive Dependencies
这是4中 hive 的价包,可以从官网中进行下载。








