开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

云原生实时数仓解决方案怎么样?

云原生实时数仓解决方案怎么样?

展开
收起
Medusa 2021-11-10 14:49:10 442 0
1 条回答
写回答
取消 提交回答
  • 云原生实时数仓解决方案:实时计算 Flink 版 + Hologres 从架构上看,它是一个比较灵活的架构;当数据实时接入进来后,把加工层分为两个环节,一个叫明细层加工,一个叫汇聚层加工。 明细层加工是用来做数据清洗、关联和转换的,加工完成后就把明细结果直接存下来了;明细层加工可以对外直接提供报表服务,不需要做很多的二次汇聚加工。

    如果是行为数据、点击流数据的话,数据量往往更大,数据价值度更低,这个时候全存明细的话,分析效率比较低,此时可以去做二次的汇聚预加工。加工成一些轻度汇总层,就是轻度加工成 DWS 层,可以存下来也可以继续加工到 ADS 层,针对某个业务场景加工成一张最终的 ADS 结果集,也可以存下来。这类场景变成更小的数据,可以支撑更高的QPS。

    这个数仓系统提供更多的灵活性,做交互式分析尽量存明细,做在线点查的话,就把这个表加工成一个可以按照主键进行查询的一个表即可,这给开发带来很多的灵活性。

    资料来源:《实时数仓“王炸组合”-实时计算》,下载链接:https://developer.aliyun.com/topic/download?id=7944

    2021-11-10 17:52:18
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
新氧云原生全栈数仓最佳实践 立即下载
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载
企业大数据平台下数仓架构 立即下载