问题一:flink sql消费kafka有办法控制消费速度么?
flink sql消费kafka有办法控制消费速度么?
参考答案:
目前没办法限制消费速度的
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/639652
问题二:flink sql配了5个mysql cdc表,如何避免这种情况?
请教一个问题,flink sql配了5个mysql cdc表,并且join后产生宽表,sink到kafka。当一个表的某个字段值被改变,会往kafka发送多条数据,导致下游消费会计算多次,如何避免这种情况?
参考答案:
下游支持回撤,根据uperset-kafka中的主键操作对应的数据 ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/630116
问题三:Flink sql可以用Metric Reporters监控作业吗?
Flink sql可以用Metric Reporters监控作业吗?
参考答案:
支持上报到自建Prometheus、日志服务SLS、Kafka或自建平台,可以看下这篇文档:https://help.aliyun.com/zh/flink/user-guide/report-metrics-to-other-systems?spm=a2c4g.11186623.0.0.2166b0297TkBos
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/624514
问题四:Flink sql不能用Metric Reporters监控作业吗?
Flink sql不能用Metric Reporters监控作业吗?
参考答案:
是的,Flink SQL 作业可以利用 Flink 的 Metric Reporters 来监控作业的运行状态。Flink 提供了一系列内置的 Metric Reporters,包括 JMX、CSV、Prometheus 等,以及支持自定义 Metric Reporters。
以下是使用 Metric Reporters 来监控 Flink SQL 作业的一些基本步骤:
- 添加依赖
确保你的 Flink 项目中包含了与 Metric Reporters 相关的依赖。
<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-metrics-prometheus</artifactId> <version>你的flink版本</version> </dependency>
- 设置 Metric Reporters
在 Flink SQL CLI 或通过 Flink 配置文件设置 Metric Reporters。
使用 Flink SQL CLI
-- 设置 Metric Reporter
SET 'execution.metrics-reporter.class' = 'org.apache.flink.metrics.prometheus.PrometheusReporter';
使用 Flink 配置文件
execution.metrics-reporter.class: org.apache.flink.metrics.prometheus.PrometheusReporter
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/623576
问题五:flink sql 用doris作为source和sink 跑起任务后为什么不是流计算?
flink sql 用doris作为source和sink 跑起任务后为什么不是流计算?数据跑完任务就结束了
参考答案:
doris还不支持source把 ,
关于本问题的更多回答可点击进行查看: