Flink CPU问题之CPU较低如何解决

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。

问题一:Flink CPU较低

求下大佬们Flink的cpu这么低吗0.012?*来自志愿者整理的flink邮件归档



参考答案:

Flink CPU的高低主要业务还是你的任务中的逻辑,框架的CPU占用是低的

想一下,如果你的任务是计算非常简单(或者就是睡觉),那整个TM的CPU试就少了,约等于框架占用的 如果是一个计算就是很密集的(或者死循环),那 TM CPU 占用就是占用你的插槽数量了,2 个插槽 200% 的 CPU 容量*来自志愿者整理的flink邮件归档



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/371507?spm=a2c6h.13066369.question.41.6ad263823mrDqu



问题二:metrics influxdb reporter 不支持https及jar放置路径问题

hello,目前Flink1.11.1 发布的org.apache.flink.metrics.influxdb.InfluxdbReporter默认是上报是http协议,并不支持https协议,源码参考[2]

另外,文档[1]标注的需要将 /opt/flink-metrics-influxdb-1.11.0.jar复制到目录plugins/influxdb,经过测试应该是要复制到目录plugins/metrics-influx

[1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/metrics.html#influxdb-orgapacheflinkmetricsinfluxdbinfluxdbreporter [2] https://github.com/apache/flink/blob/release-1.11/flink-metrics/flink-metrics-influxdb/src/main/java/org/apache/flink/metrics/influxdb/InfluxdbReporter.java#L84 --*来自志愿者整理的flink邮件归档



参考答案:

问题1 找到了https://issues.apache.org/jira/browse/FLINK-12336,且已经合并到master分支了,看issues中修复版本是1.12.0 问题2 我又在Flink1.11.1下详细测试了,flink-metrics-influxdb-1.11.0.jar在plugins/influxdb和plugins/metrics-influx均可以上报mertics,当然我也尝试过目录plugins/metrics-influx123也是可以上报*来自志愿者整理的flink邮件归档



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/371509?spm=a2c6h.13066369.question.44.6ad26382BiZtTK



问题三:自定义metrics reporter 如何不通过flink conf来注册并生效

Hi all,

请问实现了 MetricReporter, CharacterFilter,Scheduled, Reporter 的自定义 customerReporter 如何能在 代码env里面注册并实现metric上报,要求不在flink conf.xml 文件里面配置 该customerReporter的信息?

需求:在自定义的source 和sink等算子里面计算处理成功,失败的数据条数并通过自定义reporter上报,并且该reporter需要是通用型的即 适用于多个flink 任务从而避开重复造轮子。

thx*来自志愿者整理的flink邮件归档



参考答案:

问题1 找到了https://issues.apache.org/jira/browse/FLINK-12336,且已经合并到master分支了,看issues中修复版本是1.12.0 问题2 我又在Flink1.11.1下详细测试了,flink-metrics-influxdb-1.11.0.jar在plugins/influxdb和plugins/metrics-influx均可以上报mertics,当然我也尝试过目录plugins/metrics-influx123也是可以上报来自志愿者整理的flink邮件归档 Hi Fisher 尝试理解一下你的需求,你自己实现了一个 report,也希望在 source 和 sink 中计算一些 metric,希望把 source 和 sink 的这些 metric 通过自定义的 report 上报到你指定的地方。然后不希望在 env 里面配置 report 的信息,是这样吗? 能否解释下为什么不希望在 flink-conf 中进行配置,而是希望在 env 中进行配置吗来自志愿者整理的flink邮件归档



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/371511?spm=a2c6h.13066369.question.43.6ad26382meGHAf



问题四:Flink的broadcast

请教下,flink在生产里面一般多大的数据适合放入broadcastStream里面发到各个下游算子,有没一个生产级别的衡量指标. 感觉这个功能跟hive里面的map join很类似. 谢谢.*来自志愿者整理的flink邮件归档



参考答案:

Hi BroadcastStream 的数据后面会保存在 broadcast state 中,这个需要你考虑 broadcast state 消耗的内存大小(现在 broadcast state 都保存在 内存中),如果太大的话会消耗太多内存的。 Best, Congxian*来自志愿者整理的flink邮件归档



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/371514?spm=a2c6h.13066369.question.44.6ad26382pFtZdv



问题五:关于 sql-client

请问: 1. 在 Embedded mode 下,支持 ClusterClient 进行 job 提交作业,进行分布式计算吗?在文档中没看到,跟着文档走,只启起了 Local 在本地作业,无法运用到生产环境。

  1. GateWay mode 预计在那个版本 release?*来自志愿者整理的flink邮件归档



参考答案:

1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address 源码里面有加载主配置文件的逻辑

public LocalExecutor(URL defaultEnv, List jars, List libraries) { // discover configuration final String flinkConfigDir; try { // find the configuration directory flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();

// load the global configuration this.flinkConfig = GlobalConfiguration.loadConfiguration(flinkConfigDir);

// initialize default file system FileSystem.initialize(flinkConfig, PluginUtils.createPluginManagerFromRootFolder(flinkConfig));

// load command lines for deployment this.commandLines = CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir); this.commandLineOptions = collectCommandLineOptions(commandLines); } catch (Exception e) { throw new SqlClientException("Could not load Flink configuration.", e); }

2 因为等不及官方的 我们自己wrapper实现了一个*来自志愿者整理的flink邮件归档



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/371516?spm=a2c6h.13066369.question.47.6ad26382ZztJ0H

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
6月前
|
SQL 数据管理 网络安全
数据管理DMS操作报错合集之DMS的CPU使用率达到100%,如何解决
数据管理DMS(Data Management Service)是阿里云提供的数据库管理和运维服务,它支持多种数据库类型,包括RDS、PolarDB、MongoDB等。在使用DMS进行数据库操作时,可能会遇到各种报错情况。以下是一些常见的DMS操作报错及其可能的原因与解决措施的合集。
|
6月前
|
Kubernetes Java 测试技术
ChaosBlade常见问题之在K8s环境下演练cpu满载报错如何解决
ChaosBlade 是一个开源的混沌工程实验工具,旨在通过模拟各种常见的硬件、软件、网络、应用等故障,帮助开发者在测试环境中验证系统的容错和自动恢复能力。以下是关于ChaosBlade的一些常见问题合集:
310 0
|
6月前
|
JSON Java Serverless
nacos常见问题之cpu和内存占用高如何解决
Nacos是阿里云开源的服务发现和配置管理平台,用于构建动态微服务应用架构;本汇总针对Nacos在实际应用中用户常遇到的问题进行了归纳和解答,旨在帮助开发者和运维人员高效解决使用Nacos时的各类疑难杂症。
1780 0
|
6月前
|
消息中间件 SQL Kafka
Flink CPU问题之CPU利用率低如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
3月前
|
存储 监控 Java
实时计算 Flink版产品使用问题之随着时间增加,作业的CPU繁忙度增加,是什么原因
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
关系型数据库 MySQL Java
实时计算 Flink版操作报错之整内存和cpu分配之后启动报错如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
5月前
|
SQL 数据处理 API
实时计算 Flink版产品使用问题之holo的io以及cpu使用较为稳定,sink端busy一直在20%左右,有时候50%,该如何优化
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
SQL 关系型数据库 分布式数据库
PolarDB常见问题之PolarDB的CPU跑高如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
6月前
|
PyTorch 算法框架/工具 Docker
ModelScope问题之odelScope使用了官方的docker的cpu镜像如何解决
ModelScope镜像是指用于在ModelScope平台上创建和管理的容器镜像,这些镜像包含用于模型训练和推理的环境和依赖;本合集将说明如何使用ModelScope镜像以及管理镜像的技巧和注意事项。
247 0
|
2月前
|
运维 数据处理 数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践,展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现,并对比自建Flink集群的优势。最后,报告评估了其成本效益,强调了其灵活扩展性和高投资回报率,适合各类实时数据处理需求。

相关产品

  • 实时计算 Flink版
  • 下一篇
    无影云桌面