RDMA

首页 标签 RDMA
# RDMA #
关注
491内容
ncclSystemError: System call failed:A100 环境先区分架构支持和 InfiniBand 资源错误
本文详解A100(sm_80)部署中两类典型错误的分层排查:`Unsupported architecture`属PyTorch构建架构不匹配,需更换官方支持版本;`ibv_create_qp failed`则是NCCL通信层问题,涉及RDMA权限、锁页内存及固件配置。强调“单卡先行、通信后验”,避免混淆安装与通信故障。(239字)
一文讲透 GPU 算力集群工程化交付:从布线组网、跑分验收到 SRE 运维的完整链路
本文系统梳理GPU算力集群从0到1的工程化交付全流程,涵盖方案设计、规范布线、上电检测、IB/RoCE组网、存储调优、跑分验收及7×24运维维修八大阶段,提供可落地检查清单与工具,助力厂商、IDC与SRE团队高效交付稳定高性能集群。(239字)
阿里云国际服务器代理商:真武 M890 超节点选型建议 出海 AI 团队算力避坑指南
阿里云国际“真武M890”是面向千亿参数大模型训练与万级QPS推理的高端超节点,需同可用区CPFS+RDMA协同部署;不支持Spot、不可自助开通,须商务报备,适用高密分布式场景,小规模任务慎选。(239字)
|
12天前
| |
来自: 云原生
训练网络调优实战:从PFC到ECN,大模型训练拥塞控制一次说清
本文剖析RoCEv2大模型训练网络拥塞根因:千分之一丢包即致RDMA吞吐腰斩、GPU效率骤降30%–50%。聚焦PFC与ECN协同机制,拆解Incast场景下反压风暴、QP死锁、Step Time飙升等典型故障,提供可落地的调优闭环与四层排查Checklist。(239字)
|
17天前
| |
来自: 弹性计算
一文看懂2026阿里云EGS GPU云服务器资费——全规格×三大计费模式×价格对照表
‌选对实例规格是第一步,选对付费模式是第二步,算清隐性成本是第三步——三步走稳,才能让阿里云GPU服务器的每一分钱都转化为实打实的AI生产力。‌ 把技术约束放在价格之前,把预算规划做在下单之前,这才是驾驭‌阿里云GPU服务器‌的正确姿势。先用按量T4验证原型,稳定后切包年锁定优惠,算清总账再下订单——2026年的AI战场上,算清楚每一分钱,才能把预算花在刀刃上!
DeepInfer 实测:如何用 4 张 B200 提供 1000 并发
本文实测开源推理框架DeepInfer在4张B200 GPU上实现1000并发的可行性,通过EP4专家并行与去RDMA化改造(改用PCIe共享内存读取Engram表),在128k上下文下达成6.2万token/s总吞吐;分析Decode/Prefill性能、GPU利用率瓶颈、真实负载(GPQA/AIME)表现,并提供容器镜像与兼容性补丁,显著降低大模型推理部署门槛。
阿里云国际版服务代理商:MoE 大模型训练通信瓶颈解析 阿里云真武 M890 超节点 64 卡互联架构
本文剖析MoE大模型训练中的“显存墙”与All-to-All通信瓶颈,详解阿里云真武M890超节点(64卡PPU+ICN全域互联+9TB聚合显存)如何通过扩大高速通信域、优化MoE通信流、池化显存,显著提升万亿参数MoE训练效率。仅限国内乌兰察布地域。
|
2月前
| |
来自: 数据库
附下载|PolarKV 论文解析:本地分层、全局共享的云原生 KV Cache
PolarKV是阿里云推出的云原生KV Cache系统,针对大模型推理中Prefix Cache引发的跨节点带宽瓶颈,创新采用“内存作带宽层、云盘作容量层”的配对分片架构,实现本地冷热迁移、全局KV共享。已落地vLLM/SGLang,生产环境TTFT最高降80%,时延平均降42%以上。
|
2月前
| |
来自: 云原生
智算专线选型实践:大模型训练上云,专线带宽与稳定性怎么定?
本文深入剖析大模型训练上云的网络瓶颈,指出专线选型不能只看带宽,而需统筹带宽、时延、丢包率与拓扑收敛比四大维度,并提供可落地的估算方法、稳定性红线及四步决策框架,助力高效构建智算网络基础设施。(239字)
|
2月前
| |
来自: 云原生
推理网络是什么?大模型推理服务对网络提出了哪些新要求
本文深入剖析大模型推理网络的核心诉求,对比训练与推理在网络延迟、IOPS、协议效率、拥塞控制及通信解耦五大维度的本质差异,提出可量化的技术指标(如P99≤10ms、IOPS≥100K)与企业自检框架,助力构建“答得快、答得稳、扛得住并发”的推理基础设施。(239字)
免费试用