阿里云gpu云服务器有哪些优势？模型推理、图形处理、视频转码、图片渲染、AI训练、AI推理、云端图形工作站为何首选gpu云服务器？因为GPU云服务器提供了GPU加速计算能力，实现GPU计算资源的即开即用和弹性伸缩。作为阿里云弹性计算家族的一员，其结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求，例如，在并行运算方面，使用GPU云服务器可显著提高计算效率。
一、为什么选择阿里云的GPU云服务器
阿里云GPU云服务器是基于GPU与CPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势，特别是在浮点运算、并行运算等方面，GPU可以提供比CPU高百倍的计算能力。详细参考gpu云服务器产品详情页面：https://www.aliyun.com/product/egs
GPU的功能特性如下：
- 拥有大量擅长处理大规模并发计算的算术逻辑单元（Arithmetic and Logic Unit，即ALU）。
- 能够支持多线程并行的高吞吐量运算。
- 逻辑控制单元相对简单。
下表为您介绍GPU云服务器与自建GPU服务器的区别。
| 对比项 | GPU云服务器 | GPU自建服务器 |
|---|---|---|
| 灵活性 | 能够快速开通一台或多台GPU云服务器实例。 实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。 带宽升降自由。 |
服务器购买周期长。 服务器规格固定，无法灵活变更。 带宽一次性购买，无法自由升降。 |
| 易用性 | Web在线管理，简单方便。 内置主流的操作系统，Windows正版激活，且支持在线更换操作系统。 GPU驱动可以在购买时一并安装，方便快捷。 |
没有在线管理工具，维护困难。 需用户自备操作系统，自行安装及更换。 GPU驱动需要自行购买安装。 |
| 容灾备份 | 三副本数据设计，单份损坏可在短时间内快速恢复。 硬件故障事故中可快速自动恢复。 |
用户自行搭建，使用普通存储设备，价格高昂。 数据损坏需用户修复。 |
| 安全性 | 能够有效阻止MAC欺骗和ARP攻击。 并防护DDoS攻击，可进行流量清洗和黑洞。 享有端口入侵扫描、挂马扫描、漏洞扫描等附加服务。 |
很难阻止MAC欺骗和ARP攻击。 清洗和黑洞设备需要另外购买，价格昂贵。 普遍存在漏洞挂马和端口扫描等问题。 |
| 成本 | 支持包年包月及按量付费两种购买方式，可灵活选择适合您业务场景的付费方式。 按需购买，无需一次性大量投入。 |
无法按需购买，必须为业务峰值满配。 一次性投入巨大，闲置浪费严重。 |
二、阿里云gpu云服务器的产品优势
1.覆盖范围广阔
阿里云GPU云服务器在全球多个地域实现规模部署，覆盖范围广，结合弹性供应、弹性伸缩等交付方式，能够很好地满足您业务的突发需求。
2.计算能力超强
阿里云GPU云服务器配备业界超强算力的GPU计算卡，结合高性能CPU平台，单实例可提供高达1000 TFLOPS的混合精度计算性能。
3.网络性能出色
阿里云GPU云服务器实例的VPC网络最大支持450万的PPS及32 Gbit/s的内网带宽。在此基础上，超级计算集群产品中，节点间额外提供高达50 Gbit/s的RDMA网络，满足节点间数据传输的低延时高带宽要求。
4.购买方式灵活
支持灵活的资源付费模式，包括包年包月、按量付费、抢占式实例、预留实例券、存储容量单位包。您可以按需要购买，避免资源浪费。
同时，阿里云也提供了神行工具包搭配GPU云服务器一起使用，神行工具包具有GPU计算服务增强能力，可以帮助您更方便、更高效地使用阿里云的云上GPU资源。
三、gpu云服务器产品功能
1.多样算力的GPU云服务器
1.1 多种计算架构和实例规格
阿里云GPU云服务器支持多种GPU卡，同时提供GPU切分实例，单卡／多卡VM形态，弹性裸金属形态等计算架构，提供支持图形渲染，计算仿真，图像语音识别，大模型推理，调优等多种场景的实例，满足不同规模和类型用户的需求，用户可以根据实际使用场景选择合适的云服务器。
1.2 多地域多可用区
阿里云GPU云服务器目前已面向全球四大洲，开服运营27+个公共云地域、90+个可用区，此外还拥有金融云、政务云专属地域，并且致力于持续的新地域规划和建设，从而更好的满足用户多样化的业务和场景需求。伴随着基础设施的加速投入和深入布局，阿里云将为广大用户享受云计算的优质体验提供坚实基础。将实例部署在同一地域的不同可用区内，会有较高的容灾能力；将实例创建在同一可用区内，实例之间的网络延时较低，可以提升用户访问速度。您可以从用户地理位置、阿里云产品发布情况、应用可用性、以及是否需要内网通信等因素选择地域和可用区，以满足您的业务需求。
2.深度优化的解决方案工具
2.1 多样工具集
深度优化的解决方案工具集包括AI推理计算优化工具、AI通信加速库、推理引擎优化等。目前，所有工具中的组件都可以免费搭配阿里云GPU服务器和ACK容器环境使用，方便您更方便、更高效地使用阿里云的云上GPU资源。
2.2 AI通信加速库
AI通信加速库是阿里云GPU云服务器产品开发的一种用于多GPU互联的通信加速能力，基于NCCL（NVIDIA Collective Communications Library）通信算子的调用，能够实现更高效的多GPU互联通信，无感地加速分布式训练或多卡推理等任务。
2.3 推理引擎
阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）的推理引擎，在处理大语言模型任务中，该推理引擎通过优化和并行计算等技术手段，为您提供免费的高性能、低延迟推理服务。
2.4 推理加速
阿里云自研的AI推理加速器，专注于为Torch模型提供高性能的推理加速。通过对模型的计算图进行切割、执行层融合以及高性能OP的实现，大幅度提升PyTorch的推理性能。
3.成本优化
3.1 多种计费方式
GPU云服务器提供提供按量付费、节省计划、抢占式实例等多种计费方式。按量付费支持按需开通和释放资源，无需提前购买大量资源，成本比自建IDC机房降低30%~80%；
节省计划是一种按量付费的折扣权益计划，适用于长期稳定的资源使用，通过承诺长期稳定消费来获得最多比按量付费低70%的折扣；
抢占式实例则针对非核心业务提供了更低廉的价格，适合耗时且可以中断的计算任务。
3.2 弹性伸缩与弹性供应
通过弹性伸缩，您可以根据业务需求和负载自动调整服务器数量，在业务需求增长时，弹自动增加指定类型的实例，来保证计算能力；
在业务需求下降时，弹性伸缩自动减少指定类型的实例，来节约成本。基于弹性供应能力，可自动创建多种规格的抢占式实例，或混合使用按量付费和抢占式实例，实现以最低的成本交付稳定的总计算力。
3.3 节省停机模式
有较长时间关机需求，可开启节省停机模式 ，开启后不再收取计算资源（vCPU和内存）、固定公网IP费用。在保留按量付费的服务器的数据和配置信息的同时，节省部分资源使用成本。
4.安全、高可用的网络
4.1 使用弹性网卡ENI构建高可用、多网络环境的云服务
ENI是一种高度灵活的虚拟网络接口，为ECS实例提供网络接口和IP地址，可随意绑定和解绑。您可以为ECS实例附加多个ENI，以实现多IP地址、多网卡、网络高可用网络、流量隔离等。
4.2 使用弹性公网IP动态管理IP地址
弹性公网IP是一种动态分配的公网IP地址，它可以独立于云服务器ECS实例存在，可以随时与ECS实例解绑，在需要时重新绑定，满足频繁变更公网通信能力IP不变的场景。
4.3 使用PrivateLink与阿里云上的服务建立安全稳定的私有连接
PrivateLink能够建立专有网络 VPC与阿里云上的服务安全稳定的私有连接，简化网络架构，实现私网访问服务，避免通过公网访问服务带来的潜在安全风险。
4.4 安全组控制出入站流量、划分安全域
安全组是一种虚拟防火墙，能够控制ECS实例的出入站流量，用于设置单台或多台云服务器的网络访问控制。安全组具备状态监测和数据包过滤能力，您可以基于安全组的特性和安全组规则的配置在云端划分安全域。
5.面向GPU的自动化运维
5.1 通过系统事件及时感知神龙底层基础设施异常
系统事件是用于记录和通知云资源的信息，例如资源是否出现异常、资源状态变化等。系统事件还提供了运维能力，实现故障实例快速恢复的效果。系统事件还提供了订阅能力，支持客户构建事件驱动的自动化运维能力。
5.2 GPU健康度巡检和用户自诊断
GPU健康度巡检和用户自诊断功能，通过对GPU在位状态，XID error，infoROM error，驱动异常，PCIE链路异常等，同时系统也针对以上常见异常进行定期巡检，第一时间发现故障并排除，保障业务顺畅运行。
5.3 通过实例健康状态，实时感知Guest OS运行状态
实例健康状态能反应实例的操作系统是否正常运行，及时感知实例出现OOM或蓝屏等问题。
5.4 通过部署集，实现ECS实例部署的高可用和低延时
部署集是管理实例部署策略的服务。部署集支持网络低时延策略，将ECS实例集中部署到一个网络拓扑范围内，降低实例间网络延时。支持高可用策略，将ECS实例按物理机严格打散，实现高可用。
四、产品选型
阿里云gpu云服务器GPU卡型包括NVIDIA L20、NVIDIA A10、NVIDIA V100 16G、NVIDIA V100 32G、NVIDIA T4等，具体架构名称、核心代号、显存大小(GB)、显存类型、互联总线带宽(GB/S)等参数如下表所示：
| GPU卡型 | NVIDIA L20 | NVIDIA A10 | NVIDIA V100 16G | NVIDIA V100 32G | NVIDIA T4 |
|---|---|---|---|---|---|
| 架构名称 | Ada Lovelace | Ampere | Volta | Volta | Turing |
| 核心代号 | AD102 | GA100 | GV100 | GV100 | TU104 |
| 显存大小(GB) | 48 | 24 | 16 | 32 | 16 |
| 显存类型 | GDDR6 | GDDR6 | HBM2 | HBM2 | GDDR6 |
| 显存带宽(GB/s) (大模型推理性能影响参考) | 864 | 933 | 900 | 900 | 300 |
| 外接总线类型 | PCIe4.0x16 | PCIe4.0x16 | PCIe3.0x16 | PCIe3.0x16 | PCIe3.0x16 |
| 互联总线类型 | 不支持 | 不支持 | SXM2 | SXM2 | 不支持 |
| 互联总线带宽(GB/S) | 不支持 | 不支持 | 300 | 300 | 不支持 |
| TDP(W) | 350 | 150 | 300 | 300 | 70 |
| FP64(TFLOPS) | 不支持 | 0.97 | 7.8 | 7.8 | 0.25 |
| FP64_Tensor(TFLOPS) | 不支持 | 0.97 | 7.8 | 7.8 | 0.25 |
| FP32(TFLOPS)(CV处理和图形能力参考) | 59.8 | 31.2 | 15.7 | 15.7 | 8.1 |
| TF32_Tensor(TFLOPS) | 59.8 | 62.5 | 不支持 | 不支持 | 不支持 |
| FP16_Tensor(TFLOPS)(大模型推理算力参考) | 119.5 | 125 | 125 | 125 | 65.13 |
| FP8_Tensor(TFLOPS) | 239 | 不支持 | 不支持 | 不支持 | 不支持 |
| INT8_Tensor(TOPS) | 239 | 250 | 不支持 | 不支持 | 不支持 |
| INT4_Tensor(TOPS) | 0 | 500 | 不支持 | 不支持 | 不支持 |
| GPU 计算型弹性裸金属服务器实例规格 | ebmgn8is | ebmgn7i、ebmgn7ix | ebmgn6v | ebmgn6e | ebmgn6i |
| GPU 计算型实例规格 | gn8is | gn7i | gn6v | gn6e | gn6i |
| GPU 虚拟化型实例规格 | sgn8ia | sgn7i-vws、sgn7i-vws | - | - | vgn6i-vws |
五、gpu云服务器应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。
1.直播实时视频转码
阿里云GPU云服务器重点支持2019年天猫双11狂欢夜直播的实时视频转码，以高画质、低带宽、高分辨率、实时的综合优势服务于天猫双11狂欢夜当天直播业务4K、2K、1080P等各个分辨率的转码。具体说明如下：
- GPU云服务器支持高并发实时视频流5000路以上，并逐步上升到峰值6200路每分钟，且顺利度过流量洪峰。
- GPU云服务器参与实时家居渲染图片生成等业务，首次提供了大量算力强劲的ebmgn6v裸金属实例，支持淘宝渲染方提升几十倍的渲染性能，第一次实现秒级实时渲染，完成总计超过5000张大型家居渲染图。
2.AI训练
GPU计算型实例规格族gn6v和gn6e具有优异的通用GPU计算加速能力，适合为深度学习提供加速引擎。具体说明如下：
- gn6v实例配备具有16 GB显存的NVIDIA V100 GPU计算卡，gn6e实例配备具有32 GB显存的NVIDIA V100 GPU计算卡，单节点可提供高达1000 TFlops的混合精度计算能力。
- 实例与弹性计算生态的完美结合，为在线和离线场景提供了通用的解决方案。
- 实例搭配容器服务使用，可以简化部署和运维的复杂度，提供资源调度服务。
3.AI推理
GPU计算型实例规格族gn6i具有优异的AI推理能力，满足了深度学习（尤其是推理）场景下的算力需求。具体说明如下：
- gn6i实例基于配备NVIDIA Tesla T4 GPU计算卡，单精度浮点计算能力最高可达8.1 TFlops，int8定点运算处理能力最高可达130 TOPS，支持混合精度。
- 单卡功耗仅75 W，具有极高的性能功耗比。
- 实例与弹性计算生态的完美结合，为在线和离线场景提供了通用的解决方案。
- 实例搭配容器服务使用，可以简化部署和运维的复杂度，并提供资源调度服务。
- 镜像市场提供预装NVIDIA GPU驱动和深度学习框架的镜像，简化您的部署操作。
4.云端图形工作站
GPU计算型实例规格族gn6i采用基于Turing架构的NVIDIA Tesla T4 GPU加速器，具有极佳的图形计算能力。gn6i实例可以结合云桌面产品提供云端图形工作站服务，应用于影视动画设计、工业设计、医疗成像、高性能计算的结果呈现等场景。
六、gpu云服务器最新活动信息
阿里云gpu云服务器专场活动：https://www.aliyun.com/daily-act/ecs/markets/aliyun/gpu/aigc 目前新用户专享按量1折起，最长100小时，活动时间截止2026年3月31日24点。
1.具体按量价格如下：
- AI推理/训练：16核60G+1张A10 24G显存（gn7i-c16g1.4xlarge），最长100小时，1.9/小时起
- AI训练/推理：8核32G+1张V100 16G显存（gn6v-c8g1.2xlarge），最长100小时，2.4/小时起
- AI推理：16核62G+1张T4 16G显存（gn6i-c16g1.4xlarge），最长100小时，2.00/小时起
- AI推理/训练：4核30G+1张P100 16G显存(gn5-c4g1.xlarge），最长100小时，1.2/小时起
2.包年包月优惠信息如下：
- 新人专享：T4、V100、A10卡最低包月5折起，包年4折起
- 官网特惠：V100卡最低包月6折起，T4包年5折起
- 目录价直降：A10卡目录价最高直降25%
小结：阿里云GPU云服务器凭借其强大的GPU加速计算能力、灵活弹性的资源调度机制及多维度的成本优化方案，已成为视频转码、图片渲染、AI训练推理及云端图形工作站等场景的首选解决方案。通过GPU与CPU的协同计算架构，其不仅在浮点运算、并行处理等关键性能上实现百倍级提升，更以全球27+地域、90+可用区的广泛部署满足业务突发需求，结合包年包月、按量付费、抢占式实例等多元计费模式，有效降低30%-80%的用云成本。从产品特性看，其支持NVIDIA L20、A10、V100等多类型GPU卡，配合AI推理引擎、通信加速库等深度优化工具，可精准适配大模型推理、计算仿真等差异化场景；从安全运维层面，三副本数据容灾、DDoS防护、弹性网卡高可用网络及GPU健康度巡检等功能，构建起全链路的安全可靠保障。当前，新用户更可享按量1折起、包年4折起的专属优惠，配合弹性伸缩与节省停机模式，实现计算资源的高效利用与成本精准控制。
