问题一:请教个问题,flink1.18跑在k8s,任务提交上去,几十秒自动cancel了,了解吗?
请教个问题,flink1.18跑在k8s,任务提交上去,几十秒自动cancel了,flink1.13版本没啥问题,有大佬了解吗?
参考回答:
对于Flink 1.18在K8S上运行自动取消任务的问题,可能的原因有很多。这可能与Flink版本更新后的新特性、Kubernetes集群配置、资源分配等因素有关。原生模式在Flink 1.9以上版本内置了K8S的客户端,可以向K8S申请计算资源,集群资源得到了更高效的利用。在K8S集群上使用Session模式提交Flink作业的过程会分为三个阶段:首先在K8S上启动Flink Session集群;其次通过Flink Client提交作业;最后进行作业调整。因此,你可能需要检查这些环节是否存在配置问题或者网络问题。
此外,关于Prometheus在Flink作业级别上的性能问题,可能是因为作业metrics变化非常频繁,导致Prometheus承受较大压力。虽然这个问题与你的问题不直接相关,但是解决它可能有助于找出Flink任务自动取消的根本原因。
建议你首先查看Flink和K8S的日志,分析是否有异常信息。然后,检查Flink的任务提交流程是否正确,以及K8S集群的资源是否充足。如果问题仍然存在,可以尝试升级或降级Flink版本,以确定问题是否与新版本的特性有关。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571614
问题二:Flink CDC时间戳读取的原理 是不是要遍历binlog 然后找到符合时间戳数据开始读?
Flink CDC时间戳读取的原理 是不是要遍历binlog 然后找到符合时间戳数据开始读?
参考回答:
是的,不过以后可能可能会改
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570717
问题三:Flink CDC中flink sql 有拆分算子链的写法吗?
Flink CDC中flink sql 有拆分算子链的写法吗?
参考回答:
sql的写法是SET 'pipeline.operator-chaining'='false';
https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/deployment/config/
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570714
问题四:Flink CDC全量阶段这种反压情况会是什么原因呢?
Flink CDC全量阶段这种反压情况会是什么原因呢,另外一个作业的数据量比这个大得多都没有反压;数据同步逻辑也很简单,就是从源表把数据全量同步到kafka?
参考回答:
怀疑是你代码里有什么操作导致的数据流向下游满,建议拆分下算子看下env.disableOperatorChaining();
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570713
问题五:Flink CDC是新版本的bug吗?
Flink CDC是新版本的bug吗?之前没有这个问题来着
参考回答:
看下tm log
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570712