【Hello AI】神行工具包（DeepGPU）-GPU计算服务增强工具集合

神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，高效完成深度学习、机器学习、大数据分析等任务。

下面带大家详细了解神行工具包有哪些以及各自的产品优势、计费方式。

一、神行工具包（DeepGPU）介绍

神行工具包是具有GPU计算服务增强能力的免费工具集，其包括业务快速部署工具、GPU资源拆分工具、AI训练和推理计算优化工具以及针对热门AI模型的专门加速工具等。目前所有神行工具包中的组件都可以免费搭配阿里云GPU服务器和ACK容器环境使用，方便您更方便、更高效地使用阿里云的云上GPU资源。

神行工具包主要包括以下组件：

• 神龙AI加速引擎AIACC
  
• 什么是AI加速器Deepytorch
  
• 什么是AI通信加速库Deepnccl
  
• 什么是推理引擎DeepGPU-LLM
  
• AI分布式训练通信优化库AIACC-ACSpeed
  
• 计算优化编译器AIACC-AGSpeed
  
• 集群极速部署工具FastGPU
  
• GPU容器共享技术cGPU
  

二、神行工具包（DeepGPU）优势

神行工具包中的组件主要包括神龙AI加速引擎AIACC、AI分布式训练通信优化库AIACC-ACSpeed、AI训练计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU，其各自具有以下核心优势。

1. 神龙AI加速引擎AIACC
   

神龙AI加速引擎AIACC作为阿里云自研的AI加速器，在训练及推理场景下具有其显著的性能优势，能够提高计算效率同时降低使用成本。

• 统一加速
  

提供对TensorFlow、Caffe、MXNet和PyTorch多种人工智能框架的统一加速。

• 性能深度优化
  

基于阿里云IaaS基础资源（GPU、CPU、网络以及I/O等基础设施）提供性能的深度优化。

• 弹性伸缩
  

基于IaaS基础资源，支持一键构建、弹性伸缩。

• 开源兼容
  

轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码，几乎无需进行修改。

2. AI分布式训练通信优化库AIACC-ACSpeed
   

AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）作为阿里云自研的AI训练加速器，专注于分布式训练场景的通信优化功能，在训练场景下具有其显著的性能优势，提高计算效率的同时能够降低使用成本。

• 定制优化
  

提供针对PyTorch热门框架的特定优化，适用于所有模型的训练场景。

• 统一加速
  

基于nccl-plugin组件功能，提供对TensorFlow、Caffe、MXNet多种人工智能框架的统一加速。

• 性能深度优化
  

基于阿里云IaaS基础资源（GPU、CPU、网络以及I/O等基础设施）提供性能的深度优化。

• 弹性伸缩
  

基于阿里云IaaS基础资源，兼容PyTorch原生特性，支持一键构建和弹性伸缩功能。

• 开源兼容
  

轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码，几乎无需进行修改。

如果您想了解ACSpeed在训练模型时的性能优势，更多信息，请参见AIACC-ACSpeed性能数据。

3. AI训练计算优化编译器AIACC-AGSpeed
   

AIACC-AGSpeed（简称AGSpeed）作为阿里云自研的AI训练计算优化编译器，针对PyTorch热门框架训练场景中存在的计算瓶颈进行深度优化，具有其显著的性能优势，在提高训练效率的同时能够降低使用成本。

• 定制优化
  

提供针对PyTorch热门框架的特定优化，适用于PyTorch框架的所有模型的训练场景。

• 无感加速
  

通过TorchScript在PyTorch框架中获取后端编译器可优化的静态计算图，属于当前较成熟的方案，但该方案仍无法做到完全地准确与无感。相比PyTorch原生提供的TorchScript前端，AGSpeed具有无感加速的性能优势。

• 性能深度优化
  

基于阿里云IaaS基础资源（GPU、CPU、网络以及I/O等基础设施）提供性能的深度优化。

• 开源兼容
  

轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码，几乎无需进行修改。

4. 集群极速部署工具FastGPU
   

使用FastGPU构建人工智能计算任务时，您无需关心IaaS层的计算、存储、网络等资源部署操作，简单适配即可一键部署，帮助您节省时间成本以及经济成本。

• 节省时间

• 一键部署集群。无需分别进行IaaS层计算、存储、网络等资源的部署操作，将部署集群的时间缩短到5分钟。
  
• 通过接口和命令行管理任务和资源，方便快捷。
  

• 节省成本

• 当数据集完成准备工作并触发训练或推理任务后，才会触发GPU实例资源的购买。当训练或推理任务结束后，将自动释放GPU实例资源。实现了资源生命周期与任务同步，帮助您节省成本。
  
• 支持创建抢占式实例。
  

• 易用性好

• 所有资源均为IaaS层，可访问、可调试。
  
• 满足可视化和log管理需求，保证任务可回溯。
  

5. GPU容器共享技术cGPU
   

GPU容器共享技术cGPU拥有节约成本和可灵活分配资源的优势，从而实现您业务的安全隔离。

• 节约成本
  

随着显卡技术的不断发展，半导体制造工艺的进步，单张GPU卡的算力越来越强，同时价格也越来越高。但在很多的业务场景下，一个AI应用并不需要一整张的GPU卡。cGPU的出现让多个容器共享一张GPU卡，从而实现业务的安全隔离，提升GPU利用率，节约用户成本。

• 可灵活分配资源
  

cGPU实现了物理GPU的资源任意划分，您可以按照不同比例灵活配置。

• 支持按照显存和算力两个维度划分，您可以根据需要灵活分配。
  

• cGPU拥有灵活可配置的算力分配策略，支持三种调度策略的实时切换，满足了AI负载的峰谷能力的要求。
  

三、神行工具包（DeepGPU）计费

使用神行工具包（DeepGPU）本身不需要额外支付费用，您只需要为执行计算任务过程中使用的阿里云资源（例如云服务器ECS或文件存储NAS）进行付费。

神行工具包中的组件主要包括神龙AI加速引擎AIACC（AIACC-Training和AIACC-Inference）、AI加速器Deepytorch、AI通信加速库Deepnccl、推理引擎DeepGPU-LLM、AI分布式训练通信优化库AIACC-ACSpeed、AI训练计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU。更多信息，请参见什么是神行工具包（DeepGPU）。

该工具不需要额外支付费用，您只需为与其关联的阿里云资源付费。与神行工具包关联的阿里云资源主要包括云服务器ECS、对象存储OSS以及文件存储NAS，关联资源的具体计费标准如下：

• 云服务器ECS计费
  
• 对象存储OSS计费
  
• 文件存储NAS计费

好啦！小弹的分享到此为止。我们更欢迎您分享您对阿里云产品的设想、对功能的建议或者各种吐槽，请扫描提交问卷并获得社区积分或精美礼品一份。https://survey.aliyun.com/apps/zhiliao/P4y44bm_8

【扫码填写上方调研问卷】

欢迎每位来到弹性计算的开发者们来反馈问题哦~