开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

Hologres的即席查询能力很强了,是不是就可以不用Flink做实时计算了?

Hologres的即席查询能力很强了,我要是能把数据直接采集到holo里,是不是就可以不用Flink做实时计算了?直接用holo即席查询就行

展开
收起
真的很搞笑 2023-12-03 20:19:12 104 0
3 条回答
写回答
取消 提交回答
  • 这取决于你的数据量、查询性能要求(qps/latency)和灵活性之间的平衡。你这个做法本质上就是不建立数据分层,整个数据就只有ods或者dwd层,如果性能能满足要求的话,这样肯定是最灵活的。举几个flink的例子:

    1. 在写入holo之前,需要对数据进行加工。比方说,打宽、聚合、清洗。
    2. 用户需要在dwd->dws两层之间的延迟在毫秒级,那么用flink消费holo dwd层的binlog,再写入到dws层。
    3. 在用户画像场景中,对于画像使用holo大宽表来替代flink多流join。画像任一部分字段的更新都希望触发flink基于画像完整字段的重新计算,这也需要用到holo binlog+flink联合计算。,此回答整理自钉群“实时数仓Hologres交流群”
    2023-12-05 10:00:57
    赞同 展开评论 打赏
  • Hologres的即席查询能力确实很强大,可以满足大部分实时数据分析的需求。但是,如果你需要对数据进行复杂的实时计算、处理和分析,那么Flink可能仍然是更好的选择。

    Flink是一个分布式流处理框架,具有强大的实时计算能力。它可以处理大量的数据流,并提供丰富的窗口操作、状态管理和容错机制等功能。相比之下,Hologres更适合用于离线批处理和实时交互式查询。

    因此,如果你的业务场景需要复杂的实时计算和处理,建议仍然使用Flink作为主要工具。当然,你可以将Hologres作为一个补充工具,用于快速验证和展示一些简单的数据分析结果。

    2023-12-04 16:35:13
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,Hologres提供了实时数据写入和查询的能力,可以支持实时计算场景。如果您能够将数据直接采集到Hologres中,那么您可以直接使用Hologres的即席查询功能进行实时计算,而不需要使用Flink等其他实时计算引擎。

    需要注意的是,Hologres的实时写入能力是基于数据源的变化触发的,因此需要确保数据源能够及时地将变化的数据推送到Hologres中。同时,在实时写入过程中,可能会存在一些延迟,因此需要根据具体的业务需求来评估是否能够满足实时计算的要求。

    2023-12-03 21:48:04
    赞同 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    实时数仓Workshop(广州站)- 李佳林 立即下载
    阿里云实时数仓Hologres技术揭秘2.0 立即下载
    实时数仓Hologres技术实战一本通2.0版(下) 立即下载