开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc 每次都要重新在datagrip里面新开一个窗口才能看到数据的变化,为什么?

用spark thriftserver 查询flink cdc 同步到hudi的数据的时候,每次都要重新在datagrip里面新开一个spark query窗口才能看到数据的变化?

展开
收起
cuicuicuic 2024-01-01 09:01:17 45 0
3 条回答
写回答
取消 提交回答
  • 你这个是spark 的session 模式导致的bug吧,试下 refresh下 hudi的table呢 ,此回答整理自钉群“Flink CDC 社区”

    2024-01-02 08:14:56
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,使用Spark ThriftServer查询Flink CDC同步到Hudi的数据时,每次都需要重新在DataGrip中新开一个Spark Query窗口才能看到数据的变化。这是因为Spark ThriftServer是一个独立的服务,它不会自动更新或刷新查询结果。

    如果你想实时查看数据变化,可以考虑以下几种方法:

    1. 使用WebSocket或其他实时通信协议,将Spark ThriftServer与前端应用程序连接起来,这样你就可以实时接收到数据变化的通知和更新。
    2. 在Spark ThriftServer上配置日志级别为INFO或更高级别,以便在控制台输出更多关于数据变化的详细信息。
    3. 定期手动执行查询操作,以获取最新的数据状态。
    2024-01-01 13:03:43
    赞同 展开评论 打赏
  • 这个问题可能是由于Datagrip的会话管理机制导致的。Datagrip是一个集成开发环境(IDE),它为每个查询创建一个新的会话。当查询完成后,这个会话就会被关闭,所以你看到的数据显示也就消失了。

    如果你想在Datagrip中持续看到数据的变化,你可以尝试以下几种方法:

    1. 在Datagrip中设置一个持久的Spark会话。这样,即使你的查询窗口关闭了,这个会话仍然会保持打开状态,你可以随时在新的查询窗口中使用这个会话。

    2. 使用Datagrip的调度功能。你可以创建一个定时任务,每隔一段时间就执行一次你的查询。这样,你就可以在Datagrip中持续看到数据的变化了。

    3. 使用Datagrip的日志功能。你可以将你的查询结果输出到一个日志文件中,然后使用Datagrip的日志功能来查看这个文件。这样,你就可以在Datagrip中持续看到数据的变化了。

    2024-01-01 10:18:20
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载