# GPU云服务器 #
1
关注
7911内容
GPU_nvidia-container-toolkit安装和配置
GPU_nvidia-container-toolkit安装和配置
大模型综述
本文是一篇关于大模型的综述文章，旨在帮助读者快速了解并深入研究大模型的核心概念和技术细节。
exo：22.1K Star！一个能让任何人利用日常设备构建AI集群的强大工具，组成一个虚拟GPU在多台设备上并行运行模型
exo 是一款由 exo labs 维护的开源项目，能够让你利用家中的日常设备（如 iPhone、iPad、Android、Mac 和 Linux）构建强大的 AI 集群，支持多种大模型和分布式推理。
10分钟学会构建端到端的图片搜索服务
本文介绍在没有向量数据的情况下，怎样通过OpenSearch-向量检索版快速从零搭建图像搜索服务。
阿里云服务器租用费用价格表：2025最新轻量+ECS+GPU优惠1年、1个月和1小时报价单
阿里云服务器租用费用价格表涵盖2025年最新轻量应用服务器、ECS云服务器及GPU服务器优惠报价。轻量应用服务器2核2G配置，一年仅68元（秒杀38元），适合个人开发者；ECS云服务器提供多种规格，如2核2G经济型99元/年、2核4G企业专享199元/年。高性能实例如4核16G游戏服务器70元/月，8核32G为160元/月。GPU服务器方面，T4计算卡4核15G配置低至1878.4元/月。此外，阿里云支持按小时计费，灵活满足不同需求。续费优惠政策明确，长周期享更高折扣，具体以官方页面为准。
|
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
【AI系统】Tensor Core 基本原理
本文深入介绍了英伟达GPU中的Tensor Core，一种专为加速深度学习设计的硬件单元。文章从发展历程、卷积计算、混合精度训练及基本原理等方面，详细解析了Tensor Core的工作机制及其在深度学习中的应用，旨在帮助读者全面理解Tensor Core技术。通过具体代码示例，展示了如何在CUDA编程中利用Tensor Core实现高效的矩阵运算，从而加速模型训练和推理过程。
PyTorch CUDA内存管理优化：深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制，特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因，并通过实际案例（如Llama 1B模型训练）展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术，显著提升了内存使用效率，减少了系统调用开销。此外，文章还介绍了高级优化方法，包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
免费试用