问题一:flink使用rockdb作为状态后端,开了增量检查点,可以直接关闭增量检查点吗?会出现问题吗?
flink使用rockdb作为状态后端,开了增量检查点,导致历史的checkpoint目录我不敢删除,可以直接关闭增量检查点吗?会出现问题吗?
参考答案:
使用带有 RocksDB 状态后端的增量检查点,而 Flink 使用 RocksDB 的内部备份机制来随着时间的推移整合检查点数据。因此Flink 中增量检查点历史不会无限增长,Flink 最终会自动消耗和修剪旧的检查点。
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStateBackend(new RocksDBStateBackend(filebackend, true));
另外第二个参数设置成true,或者 你可以定期执行一次 save point 然后删除老的checkpoint数据 然后用save point 启动 这样也能避免过大。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/578708
问题二:Flink这里为何会是个NA啊?
Flink这里为何会是个NA啊?
参考答案:
打开chain。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/578707
问题三:在flink1.17Application模式中跑批,有没有办法同步获取任务执行结果后再退出客户端?
在flink1.17Application模式中 客户端执行 flink run-application -t yarn-application 跑批,有没有办法同步获取任务执行结果后再退出客户端 ?
参考答案:
可以自定义source 没有消费到数据后 就退出jvm 或者 试试flink 批处理。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/578706
问题四:有什么办法让flink只查询cache的数据?
使用flink sql 的lookup join,一边是kafka流表,一边是mysql维表,我启用了cache,有什么办法让flink只查询cache的数据,如果查不到就直接输出join结果,不要再去mysql里查数据?
参考答案:
mysql的 lookup.cache.strategy. 设置为all 。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/578546
问题五:在Flink如果满足条件,那么每3个partition数据会发送到一个source的solt中吗?
在Flink如果partition数是6,source并行度是2,那么每3个partition数据会发送到一个source的solt中吗?还是partition数据会hash写入source的solt?
参考答案:
一般是hash到下游。
关于本问题的更多回答可点击进行查看: