Deepytorch是阿里云自研的AI加速器,为生成式AI和大模型场景提供训练和推理加速功能。
Deepytorch包含两个软件包:
- Deepytorch Training(训练加速):通过整合分布式通信和计算图编译优化,在保障精度的前提下提升端到端训练性能,兼容PyTorch主流版本及DeepSpeed、Megatron-LM等分布式训练框架。
- Deepytorch Inference(推理加速):通过即时编译技术对Torch模型进行推理优化,无需指定精度和输入尺寸即可减少推理延迟,提升模型实时性和响应速度。
Deepytorch属于神行工具包(DeepGPU)的组件之一,免费搭配 👉️ 阿里云GPU云服务器使用。