问题一:Flink CPU较低
求下大佬们Flink的cpu这么低吗0.012?*来自志愿者整理的flink邮件归档
参考答案:
Flink CPU的高低主要业务还是你的任务中的逻辑,框架的CPU占用是低的
想一下,如果你的任务是计算非常简单(或者就是睡觉),那整个TM的CPU试就少了,约等于框架占用的 如果是一个计算就是很密集的(或者死循环),那 TM CPU 占用就是占用你的插槽数量了,2 个插槽 200% 的 CPU 容量*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371507?spm=a2c6h.13066369.question.41.6ad263823mrDqu
问题二:metrics influxdb reporter 不支持https及jar放置路径问题
hello,目前Flink1.11.1 发布的org.apache.flink.metrics.influxdb.InfluxdbReporter默认是上报是http协议,并不支持https协议,源码参考[2]
另外,文档[1]标注的需要将 /opt/flink-metrics-influxdb-1.11.0.jar复制到目录plugins/influxdb,经过测试应该是要复制到目录plugins/metrics-influx
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/metrics.html#influxdb-orgapacheflinkmetricsinfluxdbinfluxdbreporter [2] https://github.com/apache/flink/blob/release-1.11/flink-metrics/flink-metrics-influxdb/src/main/java/org/apache/flink/metrics/influxdb/InfluxdbReporter.java#L84 --*来自志愿者整理的flink邮件归档
参考答案:
问题1 找到了https://issues.apache.org/jira/browse/FLINK-12336,且已经合并到master分支了,看issues中修复版本是1.12.0 问题2 我又在Flink1.11.1下详细测试了,flink-metrics-influxdb-1.11.0.jar在plugins/influxdb和plugins/metrics-influx均可以上报mertics,当然我也尝试过目录plugins/metrics-influx123也是可以上报*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371509?spm=a2c6h.13066369.question.44.6ad26382BiZtTK
问题三:自定义metrics reporter 如何不通过flink conf来注册并生效
Hi all,
请问实现了 MetricReporter, CharacterFilter,Scheduled, Reporter 的自定义 customerReporter 如何能在 代码env里面注册并实现metric上报,要求不在flink conf.xml 文件里面配置 该customerReporter的信息?
需求:在自定义的source 和sink等算子里面计算处理成功,失败的数据条数并通过自定义reporter上报,并且该reporter需要是通用型的即 适用于多个flink 任务从而避开重复造轮子。
thx*来自志愿者整理的flink邮件归档
参考答案:
问题1 找到了https://issues.apache.org/jira/browse/FLINK-12336,且已经合并到master分支了,看issues中修复版本是1.12.0 问题2 我又在Flink1.11.1下详细测试了,flink-metrics-influxdb-1.11.0.jar在plugins/influxdb和plugins/metrics-influx均可以上报mertics,当然我也尝试过目录plugins/metrics-influx123也是可以上报来自志愿者整理的flink邮件归档 Hi Fisher 尝试理解一下你的需求,你自己实现了一个 report,也希望在 source 和 sink 中计算一些 metric,希望把 source 和 sink 的这些 metric 通过自定义的 report 上报到你指定的地方。然后不希望在 env 里面配置 report 的信息,是这样吗? 能否解释下为什么不希望在 flink-conf 中进行配置,而是希望在 env 中进行配置吗来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371511?spm=a2c6h.13066369.question.43.6ad26382meGHAf
问题四:Flink的broadcast
请教下,flink在生产里面一般多大的数据适合放入broadcastStream里面发到各个下游算子,有没一个生产级别的衡量指标. 感觉这个功能跟hive里面的map join很类似. 谢谢.*来自志愿者整理的flink邮件归档
参考答案:
Hi BroadcastStream 的数据后面会保存在 broadcast state 中,这个需要你考虑 broadcast state 消耗的内存大小(现在 broadcast state 都保存在 内存中),如果太大的话会消耗太多内存的。 Best, Congxian*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371514?spm=a2c6h.13066369.question.44.6ad26382pFtZdv
问题五:关于 sql-client
请问: 1. 在 Embedded mode 下,支持 ClusterClient 进行 job 提交作业,进行分布式计算吗?在文档中没看到,跟着文档走,只启起了 Local 在本地作业,无法运用到生产环境。
- GateWay mode 预计在那个版本 release?*来自志愿者整理的flink邮件归档
参考答案:
1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address 源码里面有加载主配置文件的逻辑
public LocalExecutor(URL defaultEnv, List jars, List libraries) { // discover configuration final String flinkConfigDir; try { // find the configuration directory flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();
// load the global configuration this.flinkConfig = GlobalConfiguration.loadConfiguration(flinkConfigDir);
// initialize default file system FileSystem.initialize(flinkConfig, PluginUtils.createPluginManagerFromRootFolder(flinkConfig));
// load command lines for deployment this.commandLines = CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir); this.commandLineOptions = collectCommandLineOptions(commandLines); } catch (Exception e) { throw new SqlClientException("Could not load Flink configuration.", e); }
2 因为等不及官方的 我们自己wrapper实现了一个*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371516?spm=a2c6h.13066369.question.47.6ad26382ZztJ0H