开发者社区> 问答> 正文

blink使用streaming的runtime实现batch,效率会降低吗?

apache_flink 2019-02-14 14:45:47 377

转自钉钉群21789141:
blink 使用 streaming 的 runtime 实现 batch,效率会降低吗?

流计算
分享到
取消 提交回答
全部回答(1)
  • apache_flink
    2019-07-17 23:28:10

    在享受到流式处理优势的同时不会以牺牲吞吐位代价,首先checkpoint是增量异步的,overhead比较小对正常数据处理的影响很小,网络层的shuffle是以buffer为单位进行的,相当于micro batch吞吐很好,相比batch模式,下游提前启动了参与拉数据和处理,所以整体性能上会更好,除了资源占用会更多一些


    绝顶:
    可以看一下FFC上蒋晓伟研究员讲的keynote,上面有tpc-ds和spark的对比数据
    https://files.alicdn.com/tpsservice/62fa5ebcd23ea0b8a956f2a06197b57a.pdf

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题