DeepInfer 实测:如何用 4 张 B200 提供 1000 并发
本文实测开源推理框架DeepInfer在4张B200 GPU上实现1000并发的可行性,通过EP4专家并行与去RDMA化改造(改用PCIe共享内存读取Engram表),在128k上下文下达成6.2万token/s总吞吐;分析Decode/Prefill性能、GPU利用率瓶颈、真实负载(GPQA/AIME)表现,并提供容器镜像与兼容性补丁,显著降低大模型推理部署门槛。
深入理解 RDMA 的软硬件交互机制
本文深入分析了RDMA技术在数据中心高性能网络环境下的工作原理及软硬件交互机制,通过对比传统Kernel TCP,突出了RDMA在减少延迟、提高系统性能方面的优势,同时讨论了其在内存管理、软硬交互方面的关键技术和挑战,为读者提供了全面理解RDMA技术及其应用场景的视角。
【洛神公开课】第6期:AI网络白皮书-02训练网络篇
阿里云AI训练网络“三层引擎”(Scale-Up/Out/Across)突破万卡集群瓶颈:NVLink实现单机8卡全互联,HPN+eRDMA将跨机通信时延压至2μs,CEN+TR支撑跨域Tbps级协同。三者协同达成96%线性加速比,显著破解GPU空转难题。(239字)
一文看懂2026阿里云EGS GPU云服务器资费——全规格×三大计费模式×价格对照表
选对实例规格是第一步,选对付费模式是第二步,算清隐性成本是第三步——三步走稳,才能让阿里云GPU服务器的每一分钱都转化为实打实的AI生产力。 把技术约束放在价格之前,把预算规划做在下单之前,这才是驾驭阿里云GPU服务器的正确姿势。先用按量T4验证原型,稳定后切包年锁定优惠,算清总账再下订单——2026年的AI战场上,算清楚每一分钱,才能把预算花在刀刃上!
训练网络调优实战:从PFC到ECN,大模型训练拥塞控制一次说清
本文剖析RoCEv2大模型训练网络拥塞根因:千分之一丢包即致RDMA吞吐腰斩、GPU效率骤降30%–50%。聚焦PFC与ECN协同机制,拆解Incast场景下反压风暴、QP死锁、Step Time飙升等典型故障,提供可落地的调优闭环与四层排查Checklist。(239字)