开发者社区> 问答> 正文

关于1.11Flink SQL 全新API设计的一些问题

简单介绍一下背景,我们组的一个工作就是用户在页面写Sql,我们负责将Sql处理转换成Flink作业并在我们的平台上运行,这个转换的过程依赖我们的SQL SDK

下面我举几个我们比较常用且感觉用1.11新API不太好实现的例子

  1. 我们现在有某种特定的Kafka数据格式,1条Kafka数据 会对应转换n(n为正整数)条Row数据,我们的做法是在emitDataStream的时候增加了一个process/FlatMap阶段,用于处理这种情况,这样对用户是透明的。

  2. 我们目前封装了一些自己的Sink,我们会在Sink之前增加一个process/Filter 用来做缓冲池/微批/数据过滤等功能

  3. 调整或者指定Source/Sink并行度为用户指定值,我们也是在DataStream层面上去做的

  4. 对于一些特殊Source Sink,他们会和KeyBy操作组合(对用户透明),我们也是在DataStream层面上去做的

如果可以的话,能让我在API层面拿到Transformation也是能满足我需求的

*来自志愿者整理的flink邮件归档

展开
收起
小阿矿 2021-12-06 16:50:51 649 0
1 条回答
写回答
取消 提交回答
  • 这个需求 我们也比较类似:
    要获取注册的表信息,自己用stream+table 实现部分逻辑

    *来自志愿者整理的flink邮件归档

    2021-12-06 17:13:13
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载