阿里云开发者社区作为一个充满活力的技术社区，有许多技术同道在这里勤学好问。为了让这些用户的疑惑得到解答，我们举办了“百问求答”活动，本期为Flink专场，期待用你的技术知识储备帮助同行解决难题，赢取行李箱等好礼，还有机会成为阿里云开发者社区“乘风问答官”，享受专属权益！赶快参与起来！

奖项设置：

注：问题如有回答，若你有其他解决方案也可作答，将记录在内；若回答雷同，将不计数。 

乘风问答官权益可点击https://developer.aliyun.com/ask/469378进行查看。

活动流程

1、点击https://yida.alibaba-inc.com/o/wdg进行报名；

2、回答文末Flink问题

活动时间

2023年1月16日至1月31日14：00

获奖名单及奖品邮寄时间

获奖名单将于活动结束后7个工作日公布，奖品将于10个工作日内进行邮寄，节假日顺延。

活动规则及注意事项

1、本活动回答数据不记录问答官排位赛活动中；

2、 回答仅限文章链接中的问题，其他回答不计数；

3、 回答请解答能力范围之内的问题进行，充数回答将不计算在内，如111、等与问题无关的回答；

4、 问题及回答需为中文，英文不记录数据；

5、 回答发布后将进入审核状态，审核完成即可查看；

6、 标题党、黑稿、通稿、包含违法违规、未被许可的商业推广、外站链接、非原创内容、营销软文、抄袭嫌疑的文章审核将不予通过，同时取消参赛资格。

Flink问题链接：

1、flink有api可以像 spark那样批出 kafka数据吗？

2、flinksql可以用状态吗？ 把一些数据存在状态里，然后根据后面数据来更新状态里的数据或者取出来输出sink

3、flink将checkpoint写入到hdfs中七天之后token过期，有大佬解决过这个问题吗？

4、大佬们，flink的日志你们怎么处理的，进一步写到了es里了吗？还是就在log文件里

5、什么job都没运行, flink堆内存一直慢慢增长(会到2G以上), 是flink本身问题还是?

6、flink1.13要使用2.3的话是要把guava30改成18再重新打包吗？

7、flink刚启动时通过sql创建任务时数据能复制到es,然后mongo里的数据就没了，再添加es也不同步cdc模拟一个mongo节点，是不是应该通过rs.status能查呢？我查着还是一个主节点，没有子节点，是不是监听有问题啊

8、请问flink有没有日志呢？按照文档搭建的测试，同步不成功，mongodb添加了数据es里没有同步

9、flink ml支持自己线下训练好的模型部署到流里面进行预测推理吗

10、大佬们，flink sql 连接阿里云数据库报禁止，什么情况

11、我想问一下flink sql 如何读取一个小时之前的一条数据

12、flink_on_yarn ,Idea 能跑，咋提交到服务器就跑不起来

13、问下 flink-sql平台 写holo 怎么 做到宽表merge？ 原理明白， 但是sql 写不通

14、flink里面的容器哪里可以调优

15、我的flinksql可以从doris中select到数据，但是还是无法insert,请问有遇到过类似事情的没flink版本1.14.4

16、Flink session 集群中我们怎么添加 lib下面的connector呢？

17、flink1.15的cdc需要自己编译吗

18、有大佬做native flink on k8s的部署方案吗，按照官网的配置，报这种异常，大佬帮忙瞅瞅

19、flink 托管内存 默认情况下是这样显示的 按一定比例分配大小，是不是代表这块内存都被rocksdb使用了，也不参与垃圾回收？

20、Flink 窗口计算流读iceberg（iceberg已经修改过支持水位线）这个错误如何解决呢？

21、有大佬搞过flink on k8s的案例吗?

22、我现在flink启动的实话，会提示这个语句失败，怎么回事呀

23、flinkcdc 采集的数据，如果是更新的话，op=d、c，如果新增的话 op=c，怎么判断是真正的新增呢？

24、flink checkpoint 保留机制问题 集群模式是 standlane模式 我设置参数state.checkpoints.num-retained 参数为2 清除策略设置 RETAIN_ON_CANCELLATION

25、大佬们 为啥有时候提交flink任务会这样

26、咨询一下，flink读取mysql的数据完成了，是否会自动停止服务？

27、这是flink内置的kafka包的错吧

28、flinksql能指定uid么

29、flink作业不是每个任务里面点进去都有各自的日志吗？

30、flink sql，1.14以后怎么流join mysql呢 官网文档显示不支持join了？

31、flink版本升级到1.15.2，能从link 1.13.2的保存点恢复吗，保存点是否兼容

32、flink lookup join 的proc_time可以出现在 sum这样的聚合函数里面吗？

33、flink运行参数有一个想动态变化，你们有方案吗

34、谁给说Flink链接doris 这个应该怎么操作

35、大佬们，现在FLink写入MySQL和oracle，是不是只有jdbc这种方式啊？

36、用的flink2.3.0得版本 报错这个 哪位同仁遇到过吗？

37、请教一下，flink1.14版本连接mysql cdc流时，debezium的String流转Row流时候，字段field都在f0里分不出来

38、flink cdc的sql实现方式能单独设定算子的并行么？现在flink sql 有几个算子背压很高，没办法解决

39、flink 支持计算列吗？建表的时候

40、flink跑流任务，pg作为维表每隔一段时间会出现ck超时失败的情况有谁碰到过这个问题吗

41、flinkSQL对于两条具有水位线join的流可以使用触发器吗

42、flink_streaming读hudi读不到数据这个是什么情况呢

43、有个问题 想咨询一下 filnk的自定义source 里不能用spring容器里的东西吗？因为好多类都没有实现序列化 ，所以flink和spring到底能一起用吗？

44、请各位大神指点一下，使用flink将数据写入到HIVE中，过几天之后token自动过期 导致执行不成功，有解决办法吗

45、大佬们 flinksql转datastream混用如何启动一个job

46、请教下，flink-sql client 如何获取到插入之后的主键值？

47、flink-cdc 跟踪postgresql库 但是表都是建的timescaledb 超表 跟踪不到新增数据 有人遇到过这种情况么?

48、flink 启动时报错怎么解决？

49、flink cdc(mysql) -> elasticsearch7, 任务每次持续跑了一段时间之后(elasticsearch connection reset by peer)，就自动结束了，请问一下是啥原因呀？

50、请教大佬flink如何在代码逻辑更新升级时如何保留confimap，以便自动从检查点恢复吗？

51、flink-cdc 在抽取mysql binlog，运行一段时间 source 就报错

52、大佬们flink-format-changelog-json这个包在github上找不到源码了是怎么回事呢?

53、flink sql 窗口排序怎么做 按事件时间排序flink sql 窗口排序怎么做 按事件时间排序

54、有没有对flink 离线任务压缩 hudi表 增大一次压缩的commit个数，感觉默认的太慢了

55、大佬们，我想用flinksql 开10s的窗，根据这个dim 字段来分组 处理数据然后写入kafka里，现在有个问题 ， 在第一个 10s窗扣造了 dim01字段值的数据，必须在第二个 10s窗里再造个 dim01字段值的数据 这样第一个10s窗口的dim01的数据才会输出， 有知道是什么原因的吗？

56、我今天准备把flink1.13.6升级到1.14.6，但是有几个jar在阿里云仓库里没找到，哪位朋友方便提供一下么

57、flink 2.2.0 升级到2.2.1 switched from INITIALIZING to FAILED with failure cause: org.apache.flink.util.FlinkRuntimeException: Failed to deserialize value 这个是什么问题？

58、大佬们，请问个问题，flink 多个并行消费rabbitmq消息，怎么保证顺序消费

59、有大佬知道 flink1.11版本 提交参数 -Dyarn.provided.lib.dirs="hdfs://test-bigdata/flinkTestJar/dependencies/lib" 无法生效的原因吗，使用./bin/flink run -m yarn-cluster 提交的，是不是yarn-cluster 不支持呀

60、有大佬知道 flink1.11版本 提交参数 -Dyarn.provided.lib.dirs="hdfs://test-bigdata/flinkTestJar/dependencies/lib" 无法生效的原因吗，使用./bin/flink run -m yarn-cluster 提交的，是不是yarn-cluster 不支持呀

61、各位有遇到过这个错误的吗？依赖版本：flink 1.14.5flink-connector-mysql-cdc 2.2.0flink-connector-debezium 2.2.0flink-sql-connector-mysql-cdc 2.2.0，怎么办？

62、请问下Flink 用Map类型接收Kafka中的嵌套json，MySQL 用json类型接收，使用sql方式怎么写？

63、有没有大佬 flink写hudi 采用flink离线压缩出现过这个问题

64、大家有测试过 一个脚本采用flink cdc 同步mysql 能同时同步多少表吗 ？

65、请问下当flink集群重启之后 kafka消息还是重复 有什么办法解决吗 kafka sink 已设置 'sink.semantic' = 'exactly-once',

66、请问，flink sql 方式可以同步修改DDL语句吗？

67、想问下大佬们，如果flink设置了整体的并行度为2，cdc的source是不是会读取两次重复的binlog数据

68、这条flinksql，拉了全库的数据，where条件没有下推 怎么回事？

69、flink 有没有遇到这种情况？

70、flink1.15.1配置全局保存点（S3），启动时报错如图，到minio那里看目录是已经创建了的，哪位大佬知道怎么回事吗？

71、flink1.4 版本 使用的EmbeddedRocksDBStateBackend ， Managed Memory 一直100% 这种情况正常吗

72、大佬们flink都是用的hivecatelog吗，hadoopcatelog有用过吗，这俩有撒区别吗

73、flink大作业启动频繁报akka.pattern.AskTimeoutException 大家有遇到过这个问题么？除了加timeout还有啥其他可以尝试的办法么？

74、有人知道flinksql 客户端运行在flink on yarn 上配置jobmanager内存不生效，怎么办？每次都取最小的 该配的都配置了

75、flink cdc 同步mysql数据库时 全量阶段出现 读取快照失败 连接重置的异常

76、flink 有人遇到这个报错吗?

77、报ORA-04030 ，flink 任务能一直跑吗？

78、flink同步oracle报这个错，请问这是因为啥？

79、flink1.16不支持hive2.1了吗？

80、执行flinksql 能转化成datastream吗

81、flinkcdc同步对数据库 的性能有影响吗？ 会影响业务的写入吗？

82、有碰到在编译完flink-doris-connector ，通过stream load 写入doris 时连接不上doris fe的问题吗？

83、这种错误大家遇到过嘛 ，过一段时间 flink taskmanager就异常推出

84、请问flink cdc支持mysql主从切换吗？

85、flink-connector-redis使用的是jedis，性能可以吗？有人用lettuce重写吗

86、请问一下flinkcdc 怎么配置能同步到mysql的truncate操作呢？现在源表truncate，目的表不会有反应。

87、flink对于自增ID为主键的MySQL表怎么处理一致性的

88、flinksql中没有 COLLECT_SET 函数吗？

89、请问，FlinkCDC的postgre connector，支持startup.positiion吗

90、flinksql 的source表是加了SASL_SSL的Kafka，作业跑在yarn上，这个jks这些文件怎么能放在hdfs上并能够使用啊，现在用这个配置 写hdfs路径 说不存在

91、flink消费rabbitmq，设置prefetch count不生效有人碰到过吗

92、请问下flink cdc有提供什么手段对比源端和目标端同步数据一致性的方案没?

93、flink怎么判断全量已经跑完了，开始走增量的数据处理逻辑呢？有没有什么api可以知道的或者怎么打个标记？

94、安装flink12版本 ，可以用 flink cdc 吗？

95、flink kafkasink sink一致初始化起不来 有什么好的解决或者检查的办法么？

96、在用阿里云flink嘛 能知道上面的flink版本是15.几吗？

97、我通过Flink SQL 去读取kudu的数据报的这个错误可以给些建议嘛？

98、flink cdc 2.2.1 能同步mysql数据到clickhouse 一直报这些 是什么原因呢

99、Flink-MySQL-CDC多表关联怎么写入clickhouse？

100、flink版本1.14.0在k8s 部署出现上面的问题，有遇到过的吗