背景

Ada lovelace（后面简称Ada）是NVIDIA最新的图形处理器架构，随2022年9月20日发布的RTX 4090一起公布。本节对RTX 4090以及Ada架构及其新特性先做一个全面的梳理。性能分析部分处理器参照物主要是Hopper架构的GH100和Ampere架构的GA100/GA102，GPU参照物主要是H100（GH100）和A100(GA100)或3090 Ti(GA102)。

Ada架构

跟Hopper架构的GH100一样，Ada架构的AD102也采用了台积电的4nm N4工艺制程，这使得AD102得以集成高达763亿个晶体管，同时可以获得更高的频率，GPU Boost Clock高达2.52GHz，使得搭载AD102的RTX 4090成为目前频率最高的NVIDIA GPU。

AD102搭载了新的第四代Tensor Core，低精度数据类型上，跟GH100一样，新增支持业界首创的FP8数据类型，支持INT8，但Ada增加了Hopper上去掉的INT4；高精度数据类型上，支持BF16数据类型，支持TF32数据类型，但Ada去掉了FP64的TensorCore支持。同样，Ada架构每个SM张量核在等效数据类型上提供Ampere架构 SM的2倍MMA(矩阵乘法累加)计算速率。针对深度学习领域，同样提供稀疏神经网络的硬件加速支持，标准张量核心操作性能翻倍。

得益于每个SM 的CUDA core性能提升2倍（相比Ampere数量翻倍）以及更多的SM数量，IEEE FP32的性能相比GA102也提升了近3倍。

Ada架构芯片搭载了新的第三代RT Core（Turing架构首次引入RT Core，可实现硬件加速的实时光线追踪渲染。），

每个SM的组合共享内存和L1数据缓存为128KB，整个AD102的L1数据缓存可达18432KB。

显存带宽为1TB/s的GDDR6X。

支持PCIe GEN4（双向带宽64GB/s）。

SM架构

Ada SM架构最重要的是搭载了第四代Tensor Core和新的第三代RT Core。

架构总览

Ada完整的AD102芯片架构如下图所示：



配置如下：

●12 GPCs, 72 TPCs(6 TPCs/GPC), 2 SMs/TPC, 12 SMs/GPC, 144 SMs per full GPU

●128 FP32 CUDA Cores/SM, 18432 FP32 CUDA Cores per full GPU

●4 forth-generation Tensor Cores/SM, 576 forth-generation Tensor Cores per full GPU

●GDDR6X, 384-bit memory interface with 12 32-bit memory controllers

● 288 FP64 Cores(2 per SM)，1/64th TFLOP rate of FP32

RTX 4090有一些裁剪，配置如下：

●11 GPCs, 64 TPCs, 2 SMs/TPC, 128 SMs

● 128 FP32 CUDA Cores/SM, 16384 FP32 CUDA Cores per GPU

●  4 forth-generation Tensor Cores/SM, 512 forth-generation Tensor Cores per full GPU

●5 HBM2 stacks, 10 512-bit memory controllers

●GDDR6X, 384-bit memory interface with 12 32-bit memory controller

GPC结构如果下图所示：



Ada架构每个GPC包含1个Raster Engine（光栅化引擎），6个TPC，12个SM，16个ROP(8 per ROP partition)。



Ada架构每个 TPC 包含2个 SM，每个 SM 包含 128 个 FP32 CUDA核心和 64 个 INT32 CUDA核心（FP32是Ampere的2倍，INT32不变）、2个FP64 CUDA核心（满足少量需要高精度的运算类型）、4个第四代Tensor核心、1个第三代RT核心。相比定位于数据中心计算的Hopper ，侧重于图形计算的Ada架构FP64核心数量大幅减少（上图因为数量太少并未画出），增加了一个RT核心。

如图所示，Ada SM 划分为4个处理块，每个处理块均包含32 个 FP32 CUDA核心、 16 个 INT32 CUDA核心、1 个 Tensor 核心、 1 个线程束调度器和 1 个分配单元。每个处理块还具有一个L0 指令缓存和一个 16 KB 寄存器堆。这四个处理块共享一个L1指令缓存，以及一个组合式的128 KB L1 数据缓存或共享内存，是Hopper GA100的一半。整个AD102的L1缓存为18432KB，相比Ampere GA102的10752KB提升了70%。

第四代Tensor Core

Ada架构搭载的第四代Tensor Core，大部分特性跟Hopper架构一样，最重要的是引入了一个新的数据类型FP8。不同的是去掉了FP64的支持，增加了INT4的支持。

在Tensor Core性能上，AD102相比GH100，大概是1/3的水平，跟GA100接近，是GA102的2倍。相比Ampere架构主要是新增了FP8的支持。

L2缓存

AD102的L2缓存增大到了98304KB，是GA102(6144KB)的16倍。

更大的L2缓存使得HPC和AI应用可以将更多的数据缓存到L2，而不是放到显存上，从而获得更高的读写速度，比如小batch size的深度神经网络的计算。

GDDR6X显存

高达1TGB/s的24GB的GDDR6X显存，目前最高速的GDDR显存。

GPU Spec

RTX 4090是最新一代面向图形计算场景的GPU卡，我们将RTX 4090与上一代Ampere架构Tesla A100和RTX 3090 Ti的主要参数做了对比如下：

从Spec来看，使用新架构的RTX 4090相对于RTX 3090 Ti，CUDA Core、Tensor Core以及RT Core的性能均提升了2倍左右，显存容量和带宽并没有变化。而相比Tesla A100 ，Tensor Core性能是基本相当，略高5%。但是Tesla A100的显存带宽是RTX 4090的2倍，受限于显存带宽4090的算力发挥会受影响，推测小bs的AI任务RTX 4090会略有优势或者与A100接近，但是随着bs增大，Tesla A100的性能应该会更好，而且随着bs增大差距会拉大。

当然以上都是硬件的理论性能指标，那么RTX 4090的实际性能表现如何呢？下面通过一些实测数据来分析。

性能实测

我们测试了RTX 4090在图像分类、文本生成、图片生成这几个主要AI任务的训练和推理性能，并和Tesla A100做了相应对比。测试都是单卡，不考虑GPU间通信带宽对性能的影响。

从下面的测试结果来看，基本跟上面的分析差不多，RTX 4090算力略高于A100，但受限于显存带宽，实际小任务时性能与A100接近，大任务时A100优势更大。

图像分类(ResNet50)

图像分类测试的是TensorFlow ResNet50-v1.5 Training的性能：

从测试结果看，bs=64时4090性能与A100是接近的，但是到了bs=128时，差距可以达到30%以上。

文本生成（LLAMA）

我们测试了LLAMA 7b文本生成推理任务，用吞吐也就是每秒生成的token数作为评估标准，值越大性能越好。

从测试结果可以看到：

Bs=1时4090跟A100差不多，bs=2时A100就超过4090了。

图片生成（Stable Diffusion）

Stable Diifusion 测试的是WEB UI场景固定sampling step=20生成512*512尺寸图片的时间，时间越短性能越好。测试了Pytorch native以及xformers加速后的生成时间。

从结果看，在bs=1时，4090性能是优于A100的，但是当bs增大到8时，A100的性能就明显超过4090了。

总结

RTX 4090的Ada Lovelace架构继承了Hopper架构在AI计算方面的特性，同时搭载了新的第三代RT Core，AI性能和光追算力相比上一代RTX 3090 Ti均提升一倍，单GPU AI算力与A100接近。实际测试4090在小bs推理任务上可以与A100相当，但是首先显存带宽以及GPU间高速通信带宽的缺失，在多卡训练和推理任务上相比A100差距还是会很大。

我们更欢迎您分享您对阿里云产品的设想、对功能的建议或者各种吐槽，请扫描提交问卷并获得社区积分或精美礼品一份。https://survey.aliyun.com/apps/zhiliao/P4y44bm_8

【扫码填写上方调研问卷】

欢迎每位来到弹性计算的开发者们来反馈问题哦~