大模型训练推理优化(5)： FlexLink —— NVLink 带宽无损提升27%
本期我们将介绍蚂蚁集团ASystem团队在大模型通信优化上的新工作FlexLink，旨在通过动态聚合多路通信（NVLink，PCIe，RDMA），在H800等典型硬件上将典型通信算子如（AllReduce, All Gather）吞吐提升最高达27%，尤其适合大模型长序列推理（Prefill阶段），及训练等通信密集的带宽bound场景。方案对精度无影响。
云原生场景中的 AI任务调度
PAI平台参加“周二开源日”活动，本期分享核心内容摘要
一、AI任务的需求与DLC
二、KubeDL
三、KubeDLPro
四、总结
