本文整理自 2024 云栖大会，阿里云智能集团高级技术专家聂大鹏、NVIDIA 解决方案架构师金国强演讲议题《Serverless GPU：助力 AI 推理加速》

近年来，AI 技术发展迅猛，企业纷纷寻求将 AI 能力转化为商业价值，然而，在部署 AI 模型推理服务时，却遭遇成本高昂、弹性不足及运维复杂等挑战。本文将探讨云原生 Serverless GPU 如何从根本上解决这些问题，以实现 AI 技术的高效落地。

1. AI 落地的三大难题与趋势

1. 成本高昂：GPU 资源利用率低下，因缺乏 GPU 虚拟化、业务潮汐效应及资源调度问题，导致昂贵的 GPU 显卡未能充分利用。
2. 弹性受限：自建 GPU 集群难以应对流量波动，尤其在实时推理和离线任务处理时，缺乏快速弹性扩展能力。
3. 运维复杂：AI 团队不愿承担 GPU 集群的管理和维护，涉及硬件软件维护、故障处理及多业务混部问题。

趋势显示，用户自建 GPU 集群正向云平台 Serverless 形态转变，期望通过低成本、高弹性和免运维方式，专注于业务价值创造。

2. Serverless GPU 算力创新：助力 AI 落地降本

Serverless GPU 模式通过智能区分 GPU 实例的忙闲状态，提供差异化定价策略，实现了成本优化与性能保障的双重目标。这种模式下的算力供应具备三个显著优势：

1. 弹性模式：无需预留资源，按需快速弹出 GPU 容器，适合准实时或离线场景，大幅降低成本。
2. 预留模式：保证无冷启动，但成本较高，适用于 24/7 连续运行的需求。
3. 闲置 GPU 模式：结合弹性与预留模式的优点，通过区分 GPU 实例的忙闲状态，提供差异化定价，既保证低延迟，又显著降低成本。

实现这些优势的关键在于阿里云函数计算生态的 GPU 架构升级，即神龙多租 GPU 架构。该架构支持空间维度上的多租户 GPU 卡切分与时间维度上的超卖复用，从而实现秒级弹性 GPU 规格解耦，最终释放更经济高效的 GPU 技术红利。

闲置 GPU 模式的内部机制与优势

• GPU checkpoint 至内存池，闲置成本远低于 GPU 显存，实现低延时与成本优化。
• 解冻过程根据模型大小决定，冷启动时间控制在合理范围。
• 通过工作负载分析，智能调整 GPU 冻结时机，确保热工作负载性能接近原生  GPU。

神龙多租 GPU 架构与技术创新

• 实现空间维度上的多租户 GPU 切分混布，时间维度上的超卖复用，提高 GPU 资源利用率。
• 提供秒级弹性、GPU 切分规格、CPU/ MEM/GPU 规格解耦、忙闲时分开定价等特性，释放 GPU 技术红利。

随着传统 Web 场景下的调度算法（比如：RR 调度策略、最小连接数调度策略）在 AI 场景有诸多弊端：如恶化后端 GPU 资源饿死胖死现象，造成业务请求 RT 急剧抖动。函数计算平台提供请求负载感知的调度策略，根据函数的请求并发度来最大化压榨后端集群的处理能力，提升用户 GPU 实例、用户自建 GPU 集群的资源利用率。

3. 英伟达案例：NVIDA TensorRT 与 AI 推理加速

阿里云函数计算是一种无服务器（Serverless）计算服务，它允许用户在无需管理底层基础设施的情况下，直接运行代码。函数计算以其高灵活性和弹性扩展能力，让用户专注于业务逻辑的开发，自动处理计算资源的分配、扩展和维护。此外，函数计算支持 GPU 算力，使其成为 AI 任务的理想选择，如模型推理和图像生成，能够大幅提高效率并降低计算成本。

NVIDIA TensorRT 是英伟达为深度学习推理优化的高性能库，通过权重量化、层融合和内存优化等技术，极大地提升了模型的推理速度，同时减少了资源消耗。TensorRT 支持从多种框架（如 TensorFlow、PyTorch）导出的模型，包括大语言模型和多模态视觉语言模型，使开发者能够充分利用 GPU 的计算能力，快速部署 AI 应用。

针对当前热门的大模型推理，英伟达还推出了 NVIDIA TensorRT-LLM（LLM，Large Language Models），这是一个专为加速大语言模型推理设计的高性能深度学习推理库，不仅覆盖了主流大语言模型，还支持丰富的数据精度选项，通过系统内核和优化计算库，实现了模型推理性能的显著提升。

在 Serverless GPU 创新的基础上，英伟达的 NVIDIA TensorRT 成为加速 AI 推理的重要利器。TensorRT 作为高性能深度学习模型推理的 SDK，通过数据精度混合处理、模型融合、算子优化等技术手段，显著提升了模型推理效率。函数计算的无缝计算体验与 NVIDIA 的高性能推理库相结合，为开发者提供了一个强大的平台，让他们能够以更低的成本、更高的效率完成复杂的 AI 任务，加速技术落地和应用创新。

在实际应用中，这种合作模式的优势尤为明显。例如，在大规模模型推理场景下，使用 TensorRT 可以将平均推理耗时降低约 20%，这在处理千万级参数的大模型时效果尤为显著。而 TensorRT-LLM 进一步针对大语言模型进行了优化，确保即使在处理极为复杂的模型时，也能保持高精度和低延迟。

4. 结论

Serverless GPU 算力创新不仅解决了 AI 落地过程中的成本、弹性和运维难题，更为企业带来了全新的算力管理模式。通过与英伟达等技术巨头的合作，阿里云函数计算等平台正引领着 AI 算力服务的新时代，为企业提供更加高效、灵活且经济的 AI 解决方案。在未来，Serverless GPU 将成为推动 AI 技术普及和商业化的关键力量，助力各行各业实现智能化转型。