联通实时计算平台问题之如何体现集群治理的效果

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 联通实时计算平台问题之如何体现集群治理的效果

问题一:资源画像主要关注哪些方面的信息?


资源画像主要关注哪些方面的信息?


参考回答:

资源画像主要关注多个集群的多个资源队列的IO、metric等信息的分钟级采集,以便实时查看整个集群和细分队列的资源使用趋势。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/670848



问题二:数据血缘分析能提供哪些功能?


数据血缘分析能提供哪些功能?


参考回答:

数据血缘分析通过分析生产环境的SQL语句,绘制出无侵入、全局、高精准的数据血缘关系,并在任意周期内提供数据表级/账户级的调用频次、数据表的依赖关系、产线加工的流程变更、加工故障的影响范围和垃圾表的洞察等功能。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/670851



问题三:集群治理的效果如何体现?


集群治理的效果如何体现?


参考回答:

集群治理的效果体现在资源负载达到100%的时长明显缩短,文件数降低了60%以上,RPC负载大幅降低,每年节约千万级别的成本,解决了长时间的资源紧张问题,降低了扩容的机器数。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/670852



问题四:集群治理存储大屏展示了哪些关键指标?


集群治理存储大屏展示了哪些关键指标?


参考回答:

集群治理存储大屏展示了总文件数、空文件数、空文件夹数、冷目录数、冷数据量、小文件占比等宏观指标,并对冷数据的时间分布、小文件分布的租户等进行了详细分析。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/670855



问题五:Flink 极致流计算的关键点是什么?


Flink 极致流计算的关键点是什么?


参考回答:

Flink 极致流计算的关键点在容错恢复部分,特别是在对延迟性、稳定性和一致性都有高要求的场景下,如风控安全。这需要通过 Fault Tolerance 2.0 来解决。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/671117

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
7月前
|
SQL 消息中间件 Kafka
流数据湖平台Apache Paimon(二)集成 Flink 引擎
流数据湖平台Apache Paimon(二)集成 Flink 引擎
955 0
|
存储 SQL 分布式计算
阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)
阿里云全托管flink-vvp平台hudi sink connector实践,本文数据湖hudi基于阿里云E-MapReduce产品,以云对象存储oss-hdfs作为存储
|
4月前
|
消息中间件 分布式计算 Kafka
联通实时计算平台问题之实时计算平台对于用户订阅和数据下发是如何支持的
联通实时计算平台问题之实时计算平台对于用户订阅和数据下发是如何支持的
|
4月前
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
|
4月前
|
消息中间件 监控 Kafka
联通实时计算平台问题之Flink状态后端数据量较大时,问题排查要如何进行
联通实时计算平台问题之Flink状态后端数据量较大时,问题排查要如何进行
|
4月前
|
消息中间件 存储 算法
联通实时计算平台问题之亿级标签关联实现且不依赖外部系统要如何操作
联通实时计算平台问题之亿级标签关联实现且不依赖外部系统要如何操作
|
4月前
|
消息中间件 监控 Kafka
联通实时计算平台问题之实时计算平台的数据处理流程是什么样的
联通实时计算平台问题之实时计算平台的数据处理流程是什么样的
|
4月前
|
搜索推荐 OLAP 流计算
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
61 1
|
4月前
|
监控 Java Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
|
6月前
|
机器学习/深度学习 人工智能 Apache
人工智能平台PAI操作报错合集之alink任务可以在本地运行,上传到flink web运行就报错,如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
下一篇
DataWorks