联通实时计算平台问题之实时计算平台对于用户订阅和数据下发是如何支持的

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 联通实时计算平台问题之实时计算平台对于用户订阅和数据下发是如何支持的

问题一:实时计算平台的数据源和用户订阅情况如何?


实时计算平台的数据源和用户订阅情况如何?


参考回答:

实时计算平台接入了30多种数据源,数据量达到万亿级别,每日数据增量为600TB。用户来自全国31个省份公司及联通集团的各个子公司,目前平台支持26种标准化场景,支撑了5000多个规则的订阅。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/670775



问题二:实时计算平台如何确保数据的实时性和准确性?


实时计算平台如何确保数据的实时性和准确性?


参考回答:

数据从产生到进入系统有520秒延迟,系统处理后有310秒延迟,平台通过端到端延迟监控确保不超过5分钟的最大延迟。同时,平台实时下发的数据会保存至HDFS,每日抽取部分数据进行质量比对,确保数据准确性达到95%以上。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/670777



问题三:Flink在实时计算平台中扮演了什么角色?


Flink在实时计算平台中扮演了什么角色?


参考回答:

Flink在实时计算平台中扮演了核心引擎的角色,能够很好地满足实时性、低延迟、高吞吐量的需求,确保用户定义场景的数据不漏发。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/670780



问题四:实时计算平台如何支持用户订阅和数据下发?


实时计算平台如何支持用户订阅和数据下发?


参考回答:

用户通过平台订阅标准化场景,平台将Kafka连接信息和数据Schema返回给用户。用户订阅的筛选条件与数据流匹配成功后,以Kafka形式下发数据。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/670783



问题五:为什么选择从Kafka + Spark Streaming转向Flink?


为什么选择从Kafka + Spark Streaming转向Flink?


参考回答:

因为Kafka + Spark Streaming的第三方平台存在依赖外部系统、大并发下负载高、资源消耗大、支撑体量小、监控粒度不足等问题,难以满足日益增长的需求。而Flink提供了更高的灵活性和可控性,适合自研和定制化开发。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/670787

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
23天前
|
存储 SQL 安全
联通实时计算平台问题之如何体现集群治理的效果
联通实时计算平台问题之如何体现集群治理的效果
|
23天前
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
|
23天前
|
消息中间件 监控 Kafka
联通实时计算平台问题之Flink状态后端数据量较大时,问题排查要如何进行
联通实时计算平台问题之Flink状态后端数据量较大时,问题排查要如何进行
|
23天前
|
消息中间件 存储 算法
联通实时计算平台问题之亿级标签关联实现且不依赖外部系统要如何操作
联通实时计算平台问题之亿级标签关联实现且不依赖外部系统要如何操作
|
23天前
|
消息中间件 监控 Kafka
联通实时计算平台问题之实时计算平台的数据处理流程是什么样的
联通实时计算平台问题之实时计算平台的数据处理流程是什么样的
|
27天前
|
搜索推荐 OLAP 流计算
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
31 1
|
23天前
|
监控 Java Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
|
3月前
|
机器学习/深度学习 人工智能 Apache
人工智能平台PAI操作报错合集之alink任务可以在本地运行,上传到flink web运行就报错,如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
4月前
|
SQL 关系型数据库 Java
实时计算 Flink版操作报错之在阿里云DataHub平台上执行SQL查询GitHub新增star仓库Top 3时不显示结果,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
2月前
|
存储 监控 大数据
阿里云实时计算Flink在多行业的应用和实践
本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践,对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术,并且提供一些在技术架构上的参考建议。
688 7
阿里云实时计算Flink在多行业的应用和实践