开发者社区> 问答> 正文

Flink是如何做到高效的数据交换的?

Flink是如何做到高效的数据交换的?

展开
收起
游客5ixw6pdymb5xs 2021-12-08 12:50:00 417 0
1 条回答
写回答
取消 提交回答
  • 在一个Flink Job中,数据需要在不同的task中进行交换,整个数据交换是有 TaskManager 负责的,TaskManager 的网络组件首先从缓冲buffer中收集records,然后再发送。Records 并不是一个一个被发送的,二是积累一个批次再发送,batch 技术可以更加高效的利用网络资源。

    2021-12-08 12:50:48
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
基于streaming构建统一的数据处理引擎的挑战与实践 立即下载
为流处理世界重新设计的存储 立即下载
基于Kubernates的流处理平台实践 ——Flink为例 立即下载