开发者社区> 问答> 正文

高网络连接数在Shuffle过程中是如何导致性能和稳定性问题的?

高网络连接数在Shuffle过程中是如何导致性能和稳定性问题的?

展开
收起
萝卜丝丸子 2024-07-29 15:44:55 17 0
1 条回答
写回答
取消 提交回答
  • 在Shuffle过程中,Reducer需要从多个Mapper的输出中读取数据,这会导致高网络连接数。每个连接都需要消耗CPU资源进行管理和维护,当连接数过高时,会消耗大量的CPU资源在连接管理上,导致用于实际计算的CPU资源减少,从而引发性能和稳定性问题。

    2024-07-29 16:15:59
    赞同 3 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
可编程网络视角的网络创新研究 立即下载
可编程网络和SDN3.0 立即下载
开放促进创新:构建开放网络生态 立即下载