开发者社区 问答 正文

Lambda 数仓架构是什么?

Lambda 数仓架构是什么?

展开
收起
芯在这 2021-12-09 23:03:22 321 分享 版权
1 条回答
写回答
取消 提交回答
  • Lambda 有 Batch Layer(批处理)和 Speed Layer(流式处理)。然后通过将批、和流的结果拼接在一起。Lambda 架构具备有数据不可变性质避免人为引入错误问题、支持数据重跑、将复杂的流处理分离出来。而 Batch Layer 和 Speed Layer 由于需要满足不同的场景,往往会选择不同的组件。

    而且,大家写过 Storm 就会知道,Storm 的代码写起来的是挺痛苦的(Trident 会有所改善)。所以,我们需要准备两套代码。同样的逻辑,针对批处理、和流处理要实现两次。

    2021-12-09 23:03:37
    赞同 展开评论