开发者社区> 问答> 正文

blink使用streaming的runtime实现batch,效率会降低吗?

转自钉钉群21789141:
blink 使用 streaming 的 runtime 实现 batch,效率会降低吗?

展开
收起
apache_flink 2019-02-14 14:45:47 2574 0
1 条回答
写回答
取消 提交回答
  • Apache Flink China是经过Apache Flink官方授权的中文社区。是旨在向国内宣传和普及Flink相关技术,输出技术博文、译作、资讯等内容,推动国内大数据技术发展的开源社区。

    在享受到流式处理优势的同时不会以牺牲吞吐位代价,首先checkpoint是增量异步的,overhead比较小对正常数据处理的影响很小,网络层的shuffle是以buffer为单位进行的,相当于micro batch吞吐很好,相比batch模式,下游提前启动了参与拉数据和处理,所以整体性能上会更好,除了资源占用会更多一些


    绝顶:
    可以看一下FFC上蒋晓伟研究员讲的keynote,上面有tpc-ds和spark的对比数据
    https://files.alicdn.com/tpsservice/62fa5ebcd23ea0b8a956f2a06197b57a.pdf

    2019-07-17 23:28:10
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
使用Apache Beam和HBase进行高效数据处理 立即下载
Spark优化实践 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载