中兴打造开放智算基座,帮助小厂解决算力难题

简介: 中兴打造开放智算基座,帮助小厂解决算力难题

  最近在杭州某AI创业公司当牛马的朋友找我哭诉,他们刚融的500万还没捂热,转头就砸给某云厂商买了200张A100的算力卡。结果你猜怎么着?训练完百亿参数大模型后,发现推理成本比训练还烧钱,现在连电费都快付不起了。在这样的背景下,中兴打造的智算基座,很可能是个不错的解决方案。

  还记得今年初Deepseek的全球火爆吗?它的出现解决了一个核心问题。就是让智能算力的不足问题从高性能的训练算力延展到普惠型的推理算力。但同时,也带来了两个挑战,第一个挑战是,推理算力将爆发式增长,需要加快算力普及;第二个挑战是,训练算力仍需进一步强化,以支撑更大规模的模型训练,以及多模态大模型的新突破。

  现在业内疯抢高端GPU,却没人注意算力链条上的隐形损耗:GPU之间等数据、机房之间等传输、模型推理等调度...导致许多算力白白浪费。而中兴这套开放基座确实有点东西。这一基座不仅支持跨机房互联,在进行多模态模型训练时,还能够大幅度降低算力损耗,同时它还支持混搭不同品牌GPU,比如把某国产芯片和A800混用,大幅度提升调度效率。

  别人都在堆显卡,中兴在修“算力高速公路”。中兴通过芯片之间、GPU 卡之间、服务器之间以及数据中心之间的连接创新,包括大容量交换芯片、800G光互联等技术创新,构建的跨3个机房互联的智算集群,与单一机房部署相比,算力损失控制在5%以内。

  在AI 2.0时代,会造显卡不算本事,能让每焦耳电力都转化成有效智能,才是真·护城河。这样的背景下,中兴的未来发展潜力无限,未来可期。
 0001.jpg

相关文章
|
8月前
|
人工智能 并行计算 调度
进行GPU算力管理
本篇主要简单介绍了在AI时代由‘大参数、大数据、大算力’需求下,对GPU算力管理和分配带来的挑战。以及面对这些挑战,GPU算力需要从单卡算力管理、单机多卡算力管理、多机多卡算力管理等多个方面发展出来的业界通用的技术。
1159 165
进行GPU算力管理
|
7月前
|
关系型数据库 BI OLAP
一招解决数据库中报表查询慢的痛点
本文旨在解决传统数据库系统如PostgreSQL在处理复杂分析查询时面临的性能瓶颈问题。
1346 163
一招解决数据库中报表查询慢的痛点
|
7月前
|
机器学习/深度学习 人工智能 安全
一篇关于DeepSeek模型先进性的阅读理解
本文以DeepSeek模型为核心,探讨了其技术先进性、训练过程及行业影响。首先介绍DeepSeek的快速崛起及其对AI行业的颠覆作用。DeepSeek通过强化学习(RL)实现Time Scaling Law的新范式,突破了传统大模型依赖算力和数据的限制,展现了集成式创新的优势。文章还提到开源的重要性以及数据作为制胜法宝的关键地位,同时警示了业务发展中安全滞后的问题。
1252 176
一篇关于DeepSeek模型先进性的阅读理解
|
7月前
|
Oracle 关系型数据库 Java
【YashanDB知识库】Mybatis-Plus适配崖山配置
【YashanDB知识库】Mybatis-Plus适配崖山配置
|
7月前
|
存储 人工智能 监控
大牛直播SDK在四足机器人和无人机巡检中的创新应用方案
在工业4.0和智能化浪潮下,传统巡检方式正经历深刻变革。四足机器人与无人机凭借灵活机动性和高效巡检能力崭露头角,而大牛直播SDK则赋予其实时直播与智能互动功能。本文介绍大牛直播SDK的核心优势、在四足机器人和无人机巡检中的应用方案,以及技术实现要点和未来展望,展示智能巡检的广阔前景。
189 6
|
7月前
|
人工智能 缓存 安全
大模型无缝切换,QwQ-32B和DeepSeek-R1 全都要
通义千问最新推出的QwQ-32B推理模型,拥有320亿参数,性能媲美DeepSeek-R1(6710亿参数)。QwQ-32B支持在小型移动设备上本地运行,并可将企业大模型API调用成本降低90%以上。本文介绍了如何通过Higress AI网关实现DeepSeek-R1与QwQ-32B之间的无缝切换,涵盖环境准备、模型接入配置及客户端调用示例等内容。此外,还详细探讨了Higress AI网关的多模型服务、消费者鉴权、模型自动切换等高级功能,帮助企业解决TPS与成本平衡、内容安全合规等问题,提升大模型应用的稳定性和效率。
957 136
大模型无缝切换,QwQ-32B和DeepSeek-R1 全都要
|
7月前
|
安全 Linux
【Linux】阻塞信号|信号原理
本教程从信号的基本概念入手,逐步讲解了阻塞信号的实现方法及其应用场景。通过对这些技术的掌握,您可以更好地控制进程在处理信号时的行为,确保应用程序在复杂的多任务环境中正常运行。
267 84
|
7月前
|
机器学习/深度学习 传感器 搜索推荐
《解析鸿蒙原生智能:解锁精准用户意图理解的密码》
鸿蒙系统以其原生智能特性,通过多维感知、大模型赋能、知识图谱、机器学习及意图框架五大核心技术,精准理解用户意图,开创智能交互新篇章。多维感知融合语音、图像与传感器数据,捕捉用户需求;大模型深度解析语言语义,提供个性化服务;知识图谱构建信息网络,提升搜索精度;机器学习持续优化交互体验;意图框架高效匹配服务。鸿蒙原生智能不仅提升了人机交互效率,更为未来智能化生活奠定了坚实基础。
202 10
|
7月前
|
移动开发 JavaScript 前端开发
HTML5最新经典俄罗斯方块游戏插件
HTML5最新经典俄罗斯方块游戏插件
|
7月前
|
人工智能 JavaScript Devops
如何在云效中使用 DeepSeek 等大模型实现 AI 智能评审
除了代码智能补全外,AI 代码智能评审是 DevOps 领域受开发者广泛关注的另一场景了。本文,我们将结合云效代码管理 Codeup、流水线 Flow 和 DeepSeek,分享一种企业可快速自主接入,即可实现的 AI 智能评审解决方案,希望给大家一些启发。
279 18