技术改变AI发展：Ada Lovelace架构解读及RTX 4090性能测试分析（系列三）

2023-12-15 139556

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

轻量应用服务器 2vCPU 4GiB，适用于网站搭建

轻量应用服务器 2vCPU 4GiB，适用于搭建容器环境

轻量应用服务器 2vCPU 4GiB，适用于搭建Web应用/小程序

简介： 简介：随着人工智能（AI）的迅速发展，越来越多的应用需要巨大的GPU计算资源。Ada lovelace（后面简称Ada）是NVIDIA最新的图形处理器架构，随2022年9月20日发布的RTX 4090一起公布。

背景

Ada lovelace（后面简称Ada）是NVIDIA最新的图形处理器架构，随2022年9月20日发布的RTX 4090一起公布。本节对RTX 4090以及Ada架构及其新特性先做一个全面的梳理。性能分析部分处理器参照物主要是Hopper架构的GH100和Ampere架构的GA100/GA102，GPU参照物主要是H100（GH100）和A100(GA100)或3090 Ti(GA102)。

Ada架构

跟Hopper架构的GH100一样，Ada架构的AD102也采用了台积电的4nm N4工艺制程，这使得AD102得以集成高达763亿个晶体管，同时可以获得更高的频率，GPU Boost Clock高达2.52GHz，使得搭载AD102的RTX 4090成为目前频率最高的NVIDIA GPU。

AD102搭载了新的第四代Tensor Core，低精度数据类型上，跟GH100一样，新增支持业界首创的FP8数据类型，支持INT8，但Ada增加了Hopper上去掉的INT4；高精度数据类型上，支持BF16数据类型，支持TF32数据类型，但Ada去掉了FP64的TensorCore支持。同样，Ada架构每个SM张量核在等效数据类型上提供Ampere架构 SM的2倍MMA(矩阵乘法累加)计算速率。针对深度学习领域，同样提供稀疏神经网络的硬件加速支持，标准张量核心操作性能翻倍。

得益于每个SM 的CUDA core性能提升2倍（相比Ampere数量翻倍）以及更多的SM数量，IEEE FP32的性能相比GA102也提升了近3倍。

Ada架构芯片搭载了新的第三代RT Core（Turing架构首次引入RT Core，可实现硬件加速的实时光线追踪渲染。），

每个SM的组合共享内存和L1数据缓存为128KB，整个AD102的L1数据缓存可达18432KB。

显存带宽为1TB/s的GDDR6X。

支持PCIe GEN4（双向带宽64GB/s）。

SM架构

Ada SM架构最重要的是搭载了第四代Tensor Core和新的第三代RT Core。

架构总览

Ada完整的AD102芯片架构如下图所示：

配置如下：

●12 GPCs, 72 TPCs(6 TPCs/GPC), 2 SMs/TPC, 12 SMs/GPC, 144 SMs per full GPU

●128 FP32 CUDA Cores/SM, 18432 FP32 CUDA Cores per full GPU

●4 forth-generation Tensor Cores/SM, 576 forth-generation Tensor Cores per full GPU

●GDDR6X, 384-bit memory interface with 12 32-bit memory controllers

● 288 FP64 Cores(2 per SM)，1/64th TFLOP rate of FP32

RTX 4090有一些裁剪，配置如下：

●11 GPCs, 64 TPCs, 2 SMs/TPC, 128 SMs

● 128 FP32 CUDA Cores/SM, 16384 FP32 CUDA Cores per GPU

● 4 forth-generation Tensor Cores/SM, 512 forth-generation Tensor Cores per full GPU

●5 HBM2 stacks, 10 512-bit memory controllers

●GDDR6X, 384-bit memory interface with 12 32-bit memory controller

GPC结构如果下图所示：

Ada架构每个GPC包含1个Raster Engine（光栅化引擎），6个TPC，12个SM，16个ROP(8 per ROP partition)。

Ada架构每个 TPC 包含2个 SM，每个 SM 包含 128 个 FP32 CUDA核心和 64 个 INT32 CUDA核心（FP32是Ampere的2倍，INT32不变）、2个FP64 CUDA核心（满足少量需要高精度的运算类型）、4个第四代Tensor核心、1个第三代RT核心。相比定位于数据中心计算的Hopper ，侧重于图形计算的Ada架构FP64核心数量大幅减少（上图因为数量太少并未画出），增加了一个RT核心。

如图所示，Ada SM 划分为4个处理块，每个处理块均包含32 个 FP32 CUDA核心、 16 个 INT32 CUDA核心、1 个 Tensor 核心、 1 个线程束调度器和 1 个分配单元。每个处理块还具有一个L0 指令缓存和一个 16 KB 寄存器堆。这四个处理块共享一个L1指令缓存，以及一个组合式的128 KB L1 数据缓存或共享内存，是Hopper GA100的一半。整个AD102的L1缓存为18432KB，相比Ampere GA102的10752KB提升了70%。

第四代Tensor Core

Ada架构搭载的第四代Tensor Core，大部分特性跟Hopper架构一样，最重要的是引入了一个新的数据类型FP8。不同的是去掉了FP64的支持，增加了INT4的支持。

在Tensor Core性能上，AD102相比GH100，大概是1/3的水平，跟GA100接近，是GA102的2倍。相比Ampere架构主要是新增了FP8的支持。

L2缓存

AD102的L2缓存增大到了98304KB，是GA102(6144KB)的16倍。

更大的L2缓存使得HPC和AI应用可以将更多的数据缓存到L2，而不是放到显存上，从而获得更高的读写速度，比如小batch size的深度神经网络的计算。

GDDR6X显存

高达1TGB/s的24GB的GDDR6X显存，目前最高速的GDDR显存。

GPU Spec

RTX 4090是最新一代面向图形计算场景的GPU卡，我们将RTX 4090与上一代Ampere架构Tesla A100和RTX 3090 Ti的主要参数做了对比如下：

GPU Type	RTX 4090	RTX 3090 Ti	A100(SXM4-80G)
GPU Architechture	AD102(Ada Lovelace)	GA102(Ampere)	GA100(Ampere)
GPCs(Graphics Processing Clusters)	11	7	7
TPCs(Texture Processing Clusters)	64	42	54
SMs(Streaming Multiprocessors )	128	84	108
FP32 CUDA Cores	16384	10752	6912
INT32 CUDA Cores	8192	5376	6912
FP64 CUDA Cores	N/A	N/A	3456
Tensor Cores	512	336	432
RT Cores	128	84	N/A
Geometry Units	64	41	N/A
TMUs(Texture Units)	512	336	432
ROPs(Raster Operation Units)	176	112	160
INT4(TOPS)	1321.2/2642.4	640/1280	1248/2496
INT8(TOPS)	660.6/1321.2	320/640	624/1248
INT32(TIPS)	41.3	20	19.5
BF16(TFLOPS)	82.6	40	39
FP16(TFLOPS)	82.6	40	78
FP32(TFLOPS)	82.6	40	19.5
FP64(TFLOPS)	1.3	N/A	9.7
Tensor Core FP8(TFLOPS)	660.6/1321.2	N/A	N/A
Tensor Core FP16(TFLOPS)	330/660	160/320	312/624
Tensor Core TF32(TFLOPS)	82.6/165.2	40/80	156/312
Tensor Core FP64(TFLOPS)	N/A	N/A	19.5
RTX-OPS(TOPS)	191	78.1	N/A
GPU Memory	24 GB GDDR6X	24 GB GDDR6X	80 GB HBM2e
Memory Clock(MHz)	1325	1219	1593
Memory Interface Width	384-bit	384-bit	5120-bit(10*512-bit)
Memory Bandwidth(GB/s)	1008	1008	2039
Interconnect Bandwidth(GB/s)	PCIe Gen4:64	PCIe Gen4:64	NVLINK:600
Default Graphic Clock(MHz)	2230	1395	1155
Max Graphic Clock(MHz)	2520	1860	1410
Power(Watt)	450	350	400

从Spec来看，使用新架构的RTX 4090相对于RTX 3090 Ti，CUDA Core、Tensor Core以及RT Core的性能均提升了2倍左右，显存容量和带宽并没有变化。而相比Tesla A100 ，Tensor Core性能是基本相当，略高5%。但是Tesla A100的显存带宽是RTX 4090的2倍，受限于显存带宽4090的算力发挥会受影响，推测小bs的AI任务RTX 4090会略有优势或者与A100接近，但是随着bs增大，Tesla A100的性能应该会更好，而且随着bs增大差距会拉大。

当然以上都是硬件的理论性能指标，那么RTX 4090的实际性能表现如何呢？下面通过一些实测数据来分析。

性能实测

我们测试了RTX 4090在图像分类、文本生成、图片生成这几个主要AI任务的训练和推理性能，并和Tesla A100做了相应对比。测试都是单卡，不考虑GPU间通信带宽对性能的影响。

从下面的测试结果来看，基本跟上面的分析差不多，RTX 4090算力略高于A100，但受限于显存带宽，实际小任务时性能与A100接近，大任务时A100优势更大。

图像分类(ResNet50)

图像分类测试的是TensorFlow ResNet50-v1.5 Training的性能：

TensorFlow ResNet50-v1.5 Training
GPU nums	batch size per GPU	precision	variable_update	local_parameter_device	all_reduce_spec	4090(images/sec)	A100-80G(images/sec)	A100/4090
1	64	fp16	parameter_server	cpu	None	1324	1274.46	96.26%
1	128	fp16	parameter_server	cpu	None	1356.46	1783.25	131.46%
1	64	fp16	parameter_server	gpu	None	1614.9	1784.63	110.51%
1	128	fp16	parameter_server	gpu	None	1472.91	1978.99	134.36%
1	64	fp16	replicated	gpu	None	1592.49	1486.6	93.35%
1	128	fp16	replicated	gpu	None	1457.87	2012.65	138.05%
1	64	fp16	replicated	gpu	pscpu	1595.17	1627.92	102.05%
1	128	fp16	replicated	gpu	pscpu	1460.31	2004.91	137.29%
1	64	fp16	replicated	gpu	nccl	1589.09	1786.49	112.42%
1	128	fp16	replicated	gpu	nccl	1531.43	2051.13	133.94%

从测试结果看，bs=64时4090性能与A100是接近的，但是到了bs=128时，差距可以达到30%以上。

文本生成（LLAMA）

我们测试了LLAMA 7b文本生成推理任务，用吞吐也就是每秒生成的token数作为评估标准，值越大性能越好。

GPU	model size	precision	batch size	throught(tokens/s)
4090	7b	fp16	1	46.38
A100	7b	fp16	1	46.35
4090	7b	fp16	2	87.85
A100	7b	fp16	2	90.68

从测试结果可以看到：

Bs=1时4090跟A100差不多，bs=2时A100就超过4090了。

图片生成（Stable Diffusion）

Stable Diifusion 测试的是WEB UI场景固定sampling step=20生成512*512尺寸图片的时间，时间越短性能越好。测试了Pytorch native以及xformers加速后的生成时间。

GPU	加速库	sampling steps	image size	batch size	time(s)
4090	native	20	512*512	1	0.9
A100	native	20	512*512	1	1
4090	xformers	20	512*512	1	0.6
A100	xformers	20	512*512	1	0.8
4090	native	20	512*512	8	6.8
A100	native	20	512*512	8	5.4
4090	xformers	20	512*512	8	4.5
A100	xformers	20	512*512	8	4.1

从结果看，在bs=1时，4090性能是优于A100的，但是当bs增大到8时，A100的性能就明显超过4090了。

总结

RTX 4090的Ada Lovelace架构继承了Hopper架构在AI计算方面的特性，同时搭载了新的第三代RT Core，AI性能和光追算力相比上一代RTX 3090 Ti均提升一倍，单GPU AI算力与A100接近。实际测试4090在小bs推理任务上可以与A100相当，但是首先显存带宽以及GPU间高速通信带宽的缺失，在多卡训练和推理任务上相比A100差距还是会很大。

我们更欢迎您分享您对阿里云产品的设想、对功能的建议或者各种吐槽，请扫描提交问卷并获得社区积分或精美礼品一份。https://survey.aliyun.com/apps/zhiliao/P4y44bm_8