【2024】英伟达吞噬世界!新架构超级GPU问世,AI算力一步提升30倍

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 英伟达在加州圣荷西的GTC大会上发布了全新的Blackwell GPU,这款拥有2080亿个晶体管的芯片将AI性能推向新高度,是公司对通用计算时代的超越。Blackwell采用多芯片封装设计,通过两颗GPU集成,解决了内存局部性和缓存问题,提供20 petaflops的FP4算力,是上一代产品的5倍。此外,新平台降低了构建和运行大规模AI模型的成本和能耗,使得大型语言模型推理速度提升30倍。黄仁勋表示,Blackwell标志着AI算力在近八年内增长了一千倍,引领了技术边界拓宽的新趋势。

> 「这才是我理想中的 GPU。」—— 黄仁勋。

「这不是演唱会。你们是来参加开发者大会的!」当黄仁勋走上舞台时,现场爆发出热烈的掌声。

就在今晨四点,位于加州圣荷西的英伟达公司,全球市值排名第三的科技巨头,举办了一年一度的GTC大会。

![img](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b523f9fa42b0422eae7d63ef0c9db22e~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=847&h=475&s=174757&e=png&b=040810)

今年的GTC大会之所以引人关注,不仅是因为生成式AI技术的突破,同时英伟达的市值也有了显著增长。伴随着的是算力市场的火热,不仅硬件竞争激烈,软件竞争同样如火如荼。

英伟达推出的全新产品再次将AI芯片的性能标准推向了前所未有的高度。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c7d7ec99502e4472b6b38a16ed526bdf~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=845&h=639&s=217747&e=png&b=020204)

「通用计算的时代已经过去,现在,我们需求更庞大的模型,因此也需要更强大的GPU,甚至需要将多个GPU叠加使用。”黄仁勋表示,“这样做并非为了降低成本,而是为了拓宽技术的边界。」

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/42eb28c4a0224bbdaaea4148d39866f1~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=850&h=457&s=192765&e=png&b=020106)

黄仁勋还提到,目前大型模型的参数量增长呈现出指数级的速度,OpenAI开发的最大型号已经达到了1.8T参数,需要处理上百亿的token。哪怕是拥有PetaFLOP级性能的GPU,想要训练这样庞大的模型也需要千年的时间。这也意味着GPT-4的参数量就达到了令人难以置信的1.8万亿。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/34fd0d54f712422799b9d76ced6b0c1b~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=855&h=464&s=125525&e=png&b=fdfdfd)

于是,为了帮助全世界构建更大型的AI,英伟达带来了全新的GPU —— Blackwell。黄仁勋直白地说:「这是块非常非常大的 GPU!」

Blackwell GPU的发布标志着,近八年来,AI的算力增长了一千倍。网友们对此惊叹不已:Nvidia吞噬世界!

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e6fe73530a2641bbb2a2e40ec25d1c00~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=846&h=469&s=199672&e=png&b=040404)

**这块拥有2080亿个晶体管的Blackwell GPU**

**让竞争对手不知所措,后继乏力**

尽管全球科技公司还在争抢H100芯片,但英伟达已经推出了下一代产品。

今天的GTC大会上,Blackwell平台正式亮相。随着Blackwell的推出,构建和运行数万亿参数的实时生成式AI大型语言模型的成本和能耗将降至原来的1/25。

Blackwell之名,是为了纪念首位入选美国国家科学院的非裔美国数学家、博弈论学者David Harold Blackwell。新平台继承了Hopper GPU架构,为加速计算设立了新的标杆。预计Blackwell架构的GPU将在今年晚些时候开始发货。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/898b8912399149f286bf2a69889c16fe~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=851&h=622&s=1215150&e=png&b=60777d)

*David Harold Blackwell。图源 britannica*

作为英伟达首款采用MCM(多芯片封装)设计的GPU,Blackwell在同一芯片封装中集成了两颗GPU。

在发布会上,黄仁勋举着Blackwell(右手)对比了一下与Hopper (左手)GH100 GPU的体积大小。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/09a7502f00034b61b9eaf923d20987c9~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=722&h=549&s=538791&e=png&b=191419)

*It’s OK, Hopper.*

他宣称,Blackwell将成为世界上最强大的芯片。这款GPU采用了先进的双Reticle台积电4NP(4N 工艺的改进版本)工艺,拥有2080亿晶体管,两个小芯片之间互联速度可达10TBps,大幅提升了处理性能。

重要的是,此设计不存在内存局部性问题或缓存问题,CUDA视其为单块GPU。

配备了高速度8Gbps、高容量192GB的HBM3E内存,AI算力可达到20 petaflops(FP4 精度),相比之下,上一代的H100 GPU仅有4 petaflops的性能。

这可能是世界上第一个如此高效整合的多die芯片平台,随着制造工艺升级速度的放缓,这也许是提升算力的唯一可行路径。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/823282b2d60845e5b251e83c6b1094c4~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=845&h=476&s=316889&e=png&b=000001)

Blackwell不仅仅是芯片的名称,它也代表整个平台。分别有B200和GB200两个系列,后者由1个Grace CPU和2个B200 GPU组成。

其中,B200 GPU通过2080亿晶体管实现了20 petaflops的FP4吞吐量。GB200则通过900GB/秒的高效芯片间连接,把两个B200 GPU与一个Grace CPU连接起来。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2b22e3264a0a4323bfa4b1a200be93b2~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=842&h=576&s=315798&e=png&b=0a0a0a)

*GB200 架构,包含两个 GPU 和一个 CPU。*

相比H100 Tensor Core GPU,GB200能够为大型语言模型(LLM)的推理工作提供高达30倍的性能提升,同时大大降低了成本和能耗。

「大家都以为我们是在制造GPU,但现在的GPU已经不再是以前那样了,」黄仁勋说。「我现在一手拿着 100 亿(晶体管),一手拿着 50 亿(晶体管)。」

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/230871712db8427eb1283113ffaaaa66~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=722&h=547&s=311790&e=png&b=030305)

英伟达已经不再单独卖显卡,而是将其作为整套系统出售,因为只有使用英伟达自家的组件,才能达到最佳效能。「如今,我们出售的是7000多个部件、重达3000磅的GPU系统。」

基于Blackwell的AI计算平台,将以DGX GB200服务器的形式提供给客户,整合了36颗NVIDIA Grace CPU和72个Blackwell GPU。这些超级芯片通过第五代NVLink成为了一个超级计算集群。

更进一步,基于Grace和Blackwell架构的DGX SuperPOD由8个或更多的DGX GB200系统组成。通过NVIDIA Quantum InfiniBand网络,这些系统能扩展到成千上万个GB200芯片。用户可以连接576块GPU,从而训练下一代AI模型。

比较一下性能升级,以前Hopper需要8000块GPU训练GPT-MoE-1.8T花费90天,而现在GB2000只需要2000块,且能耗仅为之前的四分之一。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2919b9e632ed45f0a3049aec7315e5b2~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=846&h=467&s=81929&e=png&b=010101)

在生成式AI的下一个阶段,即多模态和视频领域,需要进行更大规模的训练。Blackwell为此带来了更多的可能性。

对于大型语言模型的推理,这是一个持续的挑战,不适合单个GPU处理。在拥有1750亿参数的GPT-3基准测试中,GB200的性能是H100的7倍,而训练速度则是原来的4倍。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/46d69a70530e40f6a72e19083a74707b~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=846&h=466&s=105743&e=png&b=000000)

如今,大模型推理的速度比前一代快了30倍。黄仁勋展示了一张性能对比图,其中蓝色代表Hopper。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/71386241134d4c34975dc7813d7f7fc0~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=846&h=482&s=65923&e=png&b=000000)

「DGX超级计算机是推动AI行业变革的工厂。新一代的DGX SuperPOD集计算加速、网络以及软件发展的最新成果于一身,能够帮助每家公司、各个行业和各国政府改进并制造自己的AI。」黄仁勋说道。

随着Blackwell的推出,我们距离生成式AI应用的普及又更近了一步。

**两大技术革新**

**得益于第二代 Transformer 引擎和第五代 NVLink的联合革新**

30倍的AI算力是怎样实现的?除了采用先进的制造技术,将两块芯片结合使用外,Blackwell的关键在于它的第二代Transformer引擎,它支持FP4和FP6,使得计算能力、带宽以及模型的规模都得以加倍。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/657bfbff8d26480f9b4cd195f3ba7d73~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=844&h=380&s=118180&e=png&b=020202)

得益于新引入的微张量(micro-tensor)扩展支持和集成到TensorRT-LLM以及NeMo Megatron框架中的先进动态范围管理算法,Blackwell采用4-bit浮点数进行AI推理,使得它的算力和模型规模都提高了一倍。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3610ec0aaa964c14b0e6c9ef7937daa8~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=849&h=462&s=196980&e=png&b=040404)

而当大量这样的GPU互连时,下一代NVLink交换机成为了一个突破性的创新。它可以让576个GPU进行互通,双向带宽达到每秒1.8TB。

英伟达表示,集群系统以前60%的时间都在处理GPU间的通信,现在,新的NVLink Switch Chip让所有芯片高速互联,没有任何瓶颈。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0307c08805d04768bb4a70260bcd5cac~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=846&h=432&s=171614&e=png&b=010101)

这样,DGX GB200 NVL72基本上可以作为一个超级GPU来看待。它的FP8训练吞吐量高达720 PFLOPS,FP4推理吞吐量为1.44 ExaFLOPS,多节点All-to-All通信速度为130TB每秒,多节点All-Reduce通信速度为260TB每秒。

在具体架构上,DGX GB200 NVL72有18个GB200节点机架,每个节点都配备2个GB200 GPU,还有9个NVSwitch机架,这为GB200 NVL提供了720 PFLOPS的FP8吞吐量,以及ExaFLOPS精度的FP4。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fbcb2b9b14e34e6695e1f1c2e9adabdd~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=847&h=472&s=324000&e=png&b=010000)

所以今年的DGX形象焕然一新,有着5000条NVLink电缆,总长2英里,这些纯铜导线取代了昂贵的光纤收发器,节约了20kW的计算成本。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/781de0b23a2c4e36a3812fee2442ad5a~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=844&h=477&s=429820&e=png&b=0e0e0e)

由于功耗过大,它还需要液冷来散热,它的重量高达3000磅(约1361公斤)。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/559f146686b4445fa62899f1bfbd2619~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=842&h=473&s=262434&e=png&b=000001)

2016年,黄仁勋亲手将第一台DGX系统交给OpenAI,现在,这里的GB200算力以Exaflop为单位。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d3bdbaa88b0f4b2ba543af78a2823986~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=845&h=465&s=335232&e=png&b=010000)

在英伟达所定义的新摩尔定律下,算力提升的速度不仅没有放缓,反而加快了。

**构建生态,入场具身智能**

而在构建生态系统方面,英伟达也通过生成式AI技术,在元宇宙、工业数字孪生技术、以及机器人训练方面进行了扩展。

英伟达正在把它的Omniverse企业技术带入苹果生态中,使得开发者们能够通过Vision Pro工具在AR/VR环境中利用Omniverse工具。在GTC大会上,英伟达展示了设计师是如何使用Vision Pro虚拟地配置汽车,然后进入其中进行体验。通过Omniverse Cloud API,还可以将图像直接流传输至Vision Pro。

在机器人技术最前沿,英伟达公布了人形机器人项目GR00T。

在大会的主题演讲上,黄仁勋展示了GR00T项目推动的人形机器人是如何执行各类复杂任务的,这些机器人来自著名企业如Agility Robotics、Apptronik、傅利叶智能以及宇树科技,体现了人形机器人技术的前沿成就。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/992f73a7cfce4953bb1bf2d4f1c6306e~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=845&h=458&s=349684&e=png&b=070608)

GR00T项目是基于英伟达的Isaac机器人平台衍生发展的,其采用了全新的通用基础模型。通过这一平台,人形机器人能够接收文本、语音、视频甚至是现场演示的输入,并处理这些数据以完成特定的动作。这些机器人具备了理解自然语言和模拟人类行为的能力,还能在现实环境中自如地导航和互动。

更进一步,英伟达还开发了一款名为Jetson Thor的高级计算芯片,这是一种专为机器人设计的“大脑”,有能力执行复杂任务,并利用Transformer引擎管理众多传感器。

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7ef35cd047574b51ba2247eab9820d56~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=843&h=464&s=591604&e=png&b=b1b5b3)

人形机器人领域最近活跃度大增。举例来说,英伟达的大客户OpenAI,就在不断地运用其AI模型为一家名叫Figure的初创企业的人形机器人提供智能支持。

现在,随着英伟达把GR00T摆在了其技术展示的窗口位置,黄仁勋对未来机器人技术的发展充满期待。「ChatGPT时代的机器人可能即将来临。」

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a527d99d76c94d2eb2ec0d479c560a1a~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=716&h=543&s=268265&e=png&b=060407)

这是不是意味着我们距离拥有智能会对话、理解并行动的机器人仅一步之遥?英伟达的这一系列革新技术可能很快就会将这一愿景变为现实。

关于Figure的文章我也有写[【2024】当ChatGPT拥有了身体,并且与人类并且全面对话并学习,你还感觉AI与你很远吗?](https://sorachatgpt.github.io/gpt-figure01/)

,感谢大家阅读。

如果想要注册一键ChatGPT账号[ChatGPT注册太繁琐?教你一键注册官方GPT账号!](https://sorachatgpt.github.io/gpt-register-account/),开通ChatGPT4.0可以参考[【容易上手】WildCard通俗易懂版 WildCard不知道如何开通?如何用优惠价购买WildCard订阅国外服务?](https://sorachatgpt.github.io/gpt-upgrade-four/)

*参考文章:*

*[【2024】英伟达吞噬世界!新架构超级GPU问世,AI算力一步提升30倍](https://sorachatgpt.github.io/nvidia-world)*

*参考链接:*

*<https://www.theverge.com/2024/3/18/24105157/nvidia-blackwell-gpu-b200-ai>*

*<https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing>*

*<https://venturebeat.com/ai/nvidia-unveils-next-gen-blackwell-gpus-with-25x-lower-costs-and-energy-consumption/>*

*<https://venturebeat.com/ai/nvidia-shows-off-project-gr00t-a-multimodal-ai-to-power-humanoids-of-the-future/>*

*[https://www.nextplatform.com/2024/03/18/with-blackwell-gpus-ai-gets-cheaper-and-easier-competing-](https://www.nextplatform.com/2024/03/18/with-blackwell-gpus-ai-gets-cheaper-and-easier-competing-with-nvidia-gets-harder/)*

相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
相关文章
|
10天前
|
人工智能 自然语言处理 数据库
AI - RAG架构
AI-RAG架构
58 0
|
10天前
|
人工智能 运维 安全
英伟达发布AI Enterprise 5.0,帮助企业加速生成式AI开发
英伟达发布AI Enterprise 5.0,这是一个云端原生平台,加速生成式AI的开发与部署。该平台提供优化的数据科学流程,支持生成式AI,强调性能、安全性和灵活性。核心特性包括NVIDIA NIM和CUDA-X微服务的性能优化,严格的安全监测,多环境运行能力,及企业级支持与服务。API目录提供多种预训练模型,促进跨领域的应用创新。然而,平台可能对小企业有高技术门槛和成本挑战,且可能存在与现有系统兼容性问题。
47 1
英伟达发布AI Enterprise 5.0,帮助企业加速生成式AI开发
|
10天前
|
机器学习/深度学习 人工智能 并行计算
GPU如何成为AI的加速器
GPU如何成为AI的加速器
48 0
|
10天前
|
机器学习/深度学习 人工智能 架构师
【架构师】AI时代架构师必备技能
【架构师】AI时代架构师必备技能
|
4天前
|
人工智能
邀您参会丨飞天技术沙龙 AI 原生应用架构专场·北京站
飞天技术沙龙 AI 原生应用架构专场·北京站报名中。
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
清华首款AI光芯片登上Science,全球首创架构迈向AGI
【4月更文挑战第16天】清华大学研究团队开发出大规模光子芯片“太极”,在《科学》杂志发表,该芯片基于创新的光子计算架构,实现百万神经元级别的ONN,能效比高达160 TOPS/W。实验中,太极芯片成功执行1000类别分类任务,提升AI内容生成质量,为AGI发展开辟新路径。然而,光子集成电路的制造成本高、技术成熟度不足及软件支持限制了其广泛应用。
28 5
清华首款AI光芯片登上Science,全球首创架构迈向AGI
|
10天前
|
传感器 机器学习/深度学习 存储
AI - Agent(人工智能代理)架构
AI Agent(人工智能代理)架构
142 0
|
10天前
|
机器学习/深度学习 人工智能 API
薅羊毛!阿里云免费GPU云主机畅玩AI绘画,免费领取阿里云v100显卡搭建AI绘画利器Stable Diffusion
薅羊毛!阿里云免费GPU云主机畅玩AI绘画,免费领取阿里云v100显卡搭建AI绘画利器Stable Diffusion
137 4
薅羊毛!阿里云免费GPU云主机畅玩AI绘画,免费领取阿里云v100显卡搭建AI绘画利器Stable Diffusion
|
10天前
|
机器学习/深度学习 人工智能 架构师
【架构师】AI时代架构师必备技能
【架构师】AI时代架构师必备技能
|
10天前
|
存储 人工智能 数据处理
英伟达AI Workbench正式发布,大幅度简化大模型开发流程
英伟达发布AI Workbench,革新大模型开发流程,简化GPU工作站配置,降低AI技术门槛。该工具提供预建AI项目、交互式文档功能及自定义图像生成,支持LLM定制,助力高效开发与协作。虽对新手有一定学习曲线,但已成AI民主化重要一步。
36 4
英伟达AI Workbench正式发布,大幅度简化大模型开发流程

热门文章

最新文章