开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Hologres 做维表,flink 读取不到hologres 新写入的数据吗?

Hologres 做维表,flink 读取不到hologres 新写入的数据吗?

展开
收起
三分钟热度的鱼 2024-05-04 23:47:55 27 0
1 条回答
写回答
取消 提交回答
  • 开启binlog,是可以读取到新数据的。如果Flink在连续不断地读取Hologres中的维表数据,那么只要Hologres已经成功写入了新的数据(无论使用哪一种模式),理论上Flink应当能够读取到这些新写入的数据。
    然而,实际效果取决于您的Flink作业是如何配置和运行的。例如,Flink作业需确保其读取任务具有适当的并行度和 watermark 策略以捕获实时变化的数据。还需注意,如果Hologres的新写入操作与Flink的读取逻辑之间存在时间延迟或者依赖于特定的通知机制,则可能会出现Flink无法立即读取到新写入数据的情况。此回答整理自钉群“实时计算Flink产品交流群”

    2024-05-05 14:01:31
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
实时数仓Workshop(广州站)- 李佳林 立即下载
阿里云实时数仓Hologres技术揭秘2.0 立即下载
实时数仓Hologres技术实战一本通2.0版(下) 立即下载