中兴打造开放智算基座,帮助小厂解决算力难题

简介: 中兴打造开放智算基座,帮助小厂解决算力难题

  最近在杭州某AI创业公司当牛马的朋友找我哭诉,他们刚融的500万还没捂热,转头就砸给某云厂商买了200张A100的算力卡。结果你猜怎么着?训练完百亿参数大模型后,发现推理成本比训练还烧钱,现在连电费都快付不起了。在这样的背景下,中兴打造的智算基座,很可能是个不错的解决方案。

  还记得今年初Deepseek的全球火爆吗?它的出现解决了一个核心问题。就是让智能算力的不足问题从高性能的训练算力延展到普惠型的推理算力。但同时,也带来了两个挑战,第一个挑战是,推理算力将爆发式增长,需要加快算力普及;第二个挑战是,训练算力仍需进一步强化,以支撑更大规模的模型训练,以及多模态大模型的新突破。

  现在业内疯抢高端GPU,却没人注意算力链条上的隐形损耗:GPU之间等数据、机房之间等传输、模型推理等调度...导致许多算力白白浪费。而中兴这套开放基座确实有点东西。这一基座不仅支持跨机房互联,在进行多模态模型训练时,还能够大幅度降低算力损耗,同时它还支持混搭不同品牌GPU,比如把某国产芯片和A800混用,大幅度提升调度效率。

  别人都在堆显卡,中兴在修“算力高速公路”。中兴通过芯片之间、GPU 卡之间、服务器之间以及数据中心之间的连接创新,包括大容量交换芯片、800G光互联等技术创新,构建的跨3个机房互联的智算集群,与单一机房部署相比,算力损失控制在5%以内。

  在AI 2.0时代,会造显卡不算本事,能让每焦耳电力都转化成有效智能,才是真·护城河。这样的背景下,中兴的未来发展潜力无限,未来可期。
 0001.jpg

相关文章
|
4天前
|
数据采集 人工智能 缓存
深挖“全栈智算”之力 中兴通讯开启AI普惠新纪元
深挖“全栈智算”之力 中兴通讯开启AI普惠新纪元
29 0
|
11月前
|
人工智能 数据中心 芯片
液冷是大模型对算力需求的必然选择?|英伟达 GTC 2024六大亮点
在这个以高性能计算和大模型推动未来通用人工智能时代,算力已成为科技发展的隐形支柱。本文将重点探讨算力的演进,深入分析在不同领域中算力如何成为推动进步的基石;着眼于液冷如何突破算力瓶颈成为引领未来的先锋,对液冷散热的三种方式(冷板式、浸没式和喷淋式)做了详细的对比分析、成本测算和市场空间预测。并为您提供一份“实用教程”,指导如何将普通服务器改装为液冷服务器,以应对越来越复杂的计算需求。
|
9月前
|
人工智能 大数据 数据中心
算力服务器的崛起:技术革新与市场展望
在数字化浪潮中,算力服务器正经历革命性变化。技术突破如液冷系统提升性能与能效,如宁畅B8000的液冷设计,降低PUE并增强单节点算力。AI服务器市场预计2025年全球达317.9亿美元,中国年复合增长率超19%。国产化趋势明显,如中国电信采用国产芯片服务器。融合架构与绿色节能成为未来关键,适应多变业务需求和环保要求。
193 1
|
存储 弹性计算 运维
CIPU落地专有云:是“小众需求”还是“机会之门”?
CIPU落地专有云,简单的一句话,背后却是一个不简单的故事。
828 0
CIPU落地专有云:是“小众需求”还是“机会之门”?
|
达摩院 运维 5G
云化5G再提速!阿里达摩院研发超轻量核心网,让普惠5G走进中小企业
11月5日,2022杭州云栖大会上,阿里达摩院XG实验室自研超轻量5G核心网设备亮相,升级多项云化能力,向5G云网融合迈出了扎实一步。使用XG核心网设备,可大幅降低5G网络部署及运维压力,整体成本下降70%,功耗低至100w,有望帮助更多中小企业快速用上5G。
727 0
云化5G再提速!阿里达摩院研发超轻量核心网,让普惠5G走进中小企业
|
存储 人工智能 运维
智慧算力的基础设施峰会:关注行业趋势、磐久2.0 正式亮相
智慧算力的基础设施峰会:关注行业趋势、磐久2.0 正式亮相
智慧算力的基础设施峰会:关注行业趋势、磐久2.0 正式亮相
|
存储 弹性计算 安全
阿里云张献涛:自主最强DPU神龙的秘诀
读懂云计算,才能看清DPU热潮。
阿里云张献涛:自主最强DPU神龙的秘诀
|
机器学习/深度学习 人工智能 大数据
全球最快超算「富岳」创造者松冈聪:下一代超算再快100倍!
近日,全球目前的最快超算富岳的创造者之一松冈聪接受了采访,并表达了对于未来超算的一些看法。
318 0
全球最快超算「富岳」创造者松冈聪:下一代超算再快100倍!
|
机器学习/深度学习 人工智能 算法
腾讯战略投资,燧原科技首款AI训练芯片出炉:性能超越V100
由腾讯领投、融资累计超过 6 亿元的 AI 芯片公司燧原科技,终于发布了自己的首款产品。
1136 0
腾讯战略投资,燧原科技首款AI训练芯片出炉:性能超越V100
|
机器学习/深度学习 人工智能 城市大脑
阿里自研NPU将于下半年推出,阿里云十年再出发,达摩院加持
智能升级后,阿里云(智能)于 3 月 21 日召开了第一场发布会,主论坛上,不仅发布了与 AI 相关的产品,还透露了阿里自研的第一款 NPU 将于今年下半年推出的消息。
372 0
阿里自研NPU将于下半年推出,阿里云十年再出发,达摩院加持