# GPU云服务器 #
1
关注
7855内容
LLM推理引擎怎么选？TensorRT vs vLLM vs LMDeploy vs MLC-LLM
有很多个框架和包可以优化LLM推理和服务，所以在本文中我将整理一些常用的推理引擎并进行比较。
【AI系统】流水并行
在大模型训练中，单个设备难以满足计算和存储需求，分布式训练成为必要。模型并行是其中关键技术之一，通过将模型计算任务拆分至不同设备上执行，提高训练效率。模型并行主要包括朴素模型并行、张量并行和流水线并行。流水线并行通过将模型的不同层分配到不同设备上，采用微批次处理，提高设备利用率。Gpipe和PipeDream是两种流行的流水线并行方案，前者通过重叠前向和反向传播提升效率，后者则通过1F1B策略实现交错执行，最大化利用计算资源。
|
Docker资源（CPU/内存/磁盘IO/GPU）限制与分配指南
什么是cgroup？
cgroups其名称源自控制组群（control groups）的简写，是Linux内核的一个功能，用来限制、控制与分离一个进程组（如CPU、内存、磁盘输入输出等）。
什么是Docker资源限制？
|
魔搭+Xinference 平台：CPU，GPU，Mac-M1多端大模型部署
随着 Llama2 的开源，以及通义千问、百川、智谱等国内大模型的问世，很多用户有了本地部署去尝试大模型的需求，然而硬件的需求阻碍了很多人的尝试，并不是所有人都拥有一块英伟达显卡的，所以 Llama2 问世不久，大神 Andrej Karpathy 的一个 weekend project 爆火——llama2.c。
掌握XGBoost：GPU 加速与性能优化
掌握XGBoost：GPU 加速与性能优化
Kubernetes（K8s）与虚拟GPU（vGPU）协同：实现GPU资源的高效管理与利用
本文探讨了如何使用Kubernetes和虚拟GPU(vGPU)实现异构GPU的协同调度。Kubernetes是一个容器编排平台，通过设备插件、资源规格、调度器扩展和节点标签实现GPU资源管理。vGPU技术允许物理GPU资源在多个虚拟机或容器中共享。文章详细介绍了vGPU的部署配置步骤，并提出了GPU资源调度、负载均衡和监控调优的方法。强调虚拟GPU的性能取决于硬件和驱动支持，合理配置能提供高性能计算环境。参考文献包括Kubernetes和NVIDIA官方文档及相关研究论文。
Serverless GPU：助力 AI 推理加速
近年来，AI 技术发展迅猛，企业纷纷寻求将 AI 能力转化为商业价值，然而，在部署 AI 模型推理服务时，却遭遇成本高昂、弹性不足及运维复杂等挑战。本文将探讨云原生 Serverless GPU 如何从根本上解决这些问题，以实现 AI 技术的高效落地。
免费试用