开发者社区> 问答> 正文

实时计算平台的构成有几部分?

实时计算平台的构成有几部分?

展开
收起
芯在这 2021-12-09 23:16:44 333 0
1 条回答
写回答
取消 提交回答
  • 实时数据收集层

    在实际业务中,大量的实时计算都是基于消息系统进行的数据收集和投递,这都离不开强大的消息中间件。业界使用最广的是Kafka,还有一些其他的比如RockettMQ等。Kafka因为高吞吐、低延迟的特性,特别适合大数据量、高QPS下的业务场景,而RocketMQ则在事务消息、一致性上有独特的优势。

    实时计算层

    Flink在计算层同时支持流式和批量分析应用,这就是我们所说的批流一体。Flink承担了数据的实时采集、实时计算和下游发送的角色。随着Blink的开源和一些其他实时产品的开源,支持可视化、SQL化的开发模式已经越来越普及。

    数据存储层

    实时数据存储层,存储层除了传统MySQL等存储引擎以外,还会根据场景数据的不同存储在Redis、HBase、OLAP中。OLAP的技术选型直接制约着数据存储层和数据服务层的能力。

    数据服务层

    数据服务层会提供统一的对外查询、多维度的实时汇总,加上完善的租户和权限设计,能够支持多部门、多业务的数据需求,另外,基于数据服务层还会有数据的展示、大屏、指标可视化等。

    2021-12-09 23:17:21
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载