中兴打造开放智算基座,帮助小厂解决算力难题

简介: 中兴打造开放智算基座,帮助小厂解决算力难题

  最近在杭州某AI创业公司当牛马的朋友找我哭诉,他们刚融的500万还没捂热,转头就砸给某云厂商买了200张A100的算力卡。结果你猜怎么着?训练完百亿参数大模型后,发现推理成本比训练还烧钱,现在连电费都快付不起了。在这样的背景下,中兴打造的智算基座,很可能是个不错的解决方案。

  还记得今年初Deepseek的全球火爆吗?它的出现解决了一个核心问题。就是让智能算力的不足问题从高性能的训练算力延展到普惠型的推理算力。但同时,也带来了两个挑战,第一个挑战是,推理算力将爆发式增长,需要加快算力普及;第二个挑战是,训练算力仍需进一步强化,以支撑更大规模的模型训练,以及多模态大模型的新突破。

  现在业内疯抢高端GPU,却没人注意算力链条上的隐形损耗:GPU之间等数据、机房之间等传输、模型推理等调度...导致许多算力白白浪费。而中兴这套开放基座确实有点东西。这一基座不仅支持跨机房互联,在进行多模态模型训练时,还能够大幅度降低算力损耗,同时它还支持混搭不同品牌GPU,比如把某国产芯片和A800混用,大幅度提升调度效率。

  别人都在堆显卡,中兴在修“算力高速公路”。中兴通过芯片之间、GPU 卡之间、服务器之间以及数据中心之间的连接创新,包括大容量交换芯片、800G光互联等技术创新,构建的跨3个机房互联的智算集群,与单一机房部署相比,算力损失控制在5%以内。

  在AI 2.0时代,会造显卡不算本事,能让每焦耳电力都转化成有效智能,才是真·护城河。这样的背景下,中兴的未来发展潜力无限,未来可期。
 0001.jpg

目录
打赏
0
5
6
1
92
分享
相关文章
液冷是大模型对算力需求的必然选择?|英伟达 GTC 2024六大亮点
在这个以高性能计算和大模型推动未来通用人工智能时代,算力已成为科技发展的隐形支柱。本文将重点探讨算力的演进,深入分析在不同领域中算力如何成为推动进步的基石;着眼于液冷如何突破算力瓶颈成为引领未来的先锋,对液冷散热的三种方式(冷板式、浸没式和喷淋式)做了详细的对比分析、成本测算和市场空间预测。并为您提供一份“实用教程”,指导如何将普通服务器改装为液冷服务器,以应对越来越复杂的计算需求。
算力服务器的崛起:技术革新与市场展望
在数字化浪潮中,算力服务器正经历革命性变化。技术突破如液冷系统提升性能与能效,如宁畅B8000的液冷设计,降低PUE并增强单节点算力。AI服务器市场预计2025年全球达317.9亿美元,中国年复合增长率超19%。国产化趋势明显,如中国电信采用国产芯片服务器。融合架构与绿色节能成为未来关键,适应多变业务需求和环保要求。
187 1
中国算力基础设施“第一阵营”变局?
中国算力基础设施“第一阵营”变局?
阿里云算力电力协同优化成果获2023中国算力大会“最佳学术论文”荣誉
阿里云算力电力协同优化成果获2023中国算力大会“最佳学术论文”荣誉
Serverless 年终技术盘点 :工业、学术、社区遍地开花,国内厂商迅速卡位
预计 2021 年,将会有大量主流企业的核心应用,从原来的主机架构迁移到 Serverless 架构。
全球最快超算「富岳」创造者松冈聪:下一代超算再快100倍!
近日,全球目前的最快超算富岳的创造者之一松冈聪接受了采访,并表达了对于未来超算的一些看法。
303 0
全球最快超算「富岳」创造者松冈聪:下一代超算再快100倍!
高性能计算深入科研,联想HPC助力南科大组建世界级超算环境
高性能计算深入科研,联想HPC助力南科大组建世界级超算环境
443 0
高性能计算深入科研,联想HPC助力南科大组建世界级超算环境