开发者社区 问答 正文

斗鱼是如何解决 Kafka 和 Iceberg 各自问题的?

斗鱼是如何解决 Kafka 和 Iceberg 各自问题的?

展开
收起
萝卜丝丸子 2024-08-13 20:45:05 56 分享 版权
1 条回答
写回答
取消 提交回答
  • 斗鱼通过自定义元数据服务,维护库表的 Catalog 信息,并动态注入 Catalog 能力,实现了 Kafka 和 Iceberg 双方案并行。这样既能利用 Kafka 的低延迟特性处理对时延敏感的数据,又能利用 Iceberg 的长期存储和统一存储层优势处理其他场景。

    2024-08-13 21:50:48
    赞同 2 展开评论