# GPU云服务器 #
1
关注
7912内容
在AMD GPU上部署AI大模型：从ROCm环境搭建到Ollama本地推理实战指南
本文详细介绍了在AMD硬件上构建大型语言模型（LLM）推理环境的全流程。以RX 7900XT为例，通过配置ROCm平台、部署Ollama及Open WebUI，实现高效本地化AI推理。尽管面临技术挑战，但凭借高性价比（如700欧元的RX 7900XT性能接近2200欧元的RTX 5090），AMD方案成为经济实用的选择。测试显示，不同规模模型的推理速度从9到74 tokens/秒不等，满足交互需求。随着ROCm不断完善，AMD生态将推动AI硬件多元化发展，为个人与小型组织提供低成本、低依赖的AI实践路径。
阿里云X86/ARM/GPU/裸金属/超算等五大服务器架构技术特点、场景适配与选型策略
在我们选购阿里云服务器的时候，云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选，有的用户并不清楚他们之间有何区别。本文将深入解析这些架构的特点、优势及适用场景，帮助用户更好地根据实际需求做出选择。
8.6K star！完全免费+本地运行+无需GPU，这款AI搜索聚合神器绝了！
FreeAskInternet是一款革命性的开源项目，它完美结合了多引擎搜索和智能语言模型，让你在不联网、不花钱、不暴露隐私的情况下，获得媲美ChatGPT的智能问答体验。这个项目最近在GitHub上狂揽8600+星，被开发者称为"本地版Perplexity"。
斯坦福黑科技让笔记本GPU也能玩转AI视频生成！FramePack：压缩输入帧上下文长度！仅需6GB显存即可生成高清动画
斯坦福大学推出的FramePack技术通过压缩输入帧上下文长度，解决视频生成中的"遗忘"和"漂移"问题，仅需6GB显存即可在普通笔记本上实时生成高清视频。
K8S 部署 Deepseek 要 3 天？别逗了！Ollama+GPU Operator 1 小时搞定
最近一年我都在依赖大模型辅助工作，比如 DeepSeek、豆包、Qwen等等。线上大模型确实方便，敲几个字就能生成文案、写代码、做表格，极大提高了效率。但对于企业来说：公司内部数据敏感、使用外部大模型会有数据泄露的风险。
119K star！无需GPU轻松本地部署多款大模型，DeepSeek支持！这个开源神器绝了
"只需一行命令就能在本地运行Llama 3、DeepSeek-R1等前沿大模型，支持Windows/Mac/Linux全平台，这个开源项目让AI开发从未如此简单！"
PyTorch CUDA内存管理优化：深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制，特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因，并通过实际案例（如Llama 1B模型训练）展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术，显著提升了内存使用效率，减少了系统调用开销。此外，文章还介绍了高级优化方法，包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
英伟达新一代GPU架构（50系列显卡）PyTorch兼容性解决方案
本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，分析其根源为预编译二进制文件不支持sm_120架构，并提出解决方案：使用PyTorch Nightly版本、更新CUDA工具包至12.8。通过清理环境并安装支持新架构的组件，成功解决兼容性问题。文章总结了深度学习环境中硬件与框架兼容性的关键策略，强调Nightly构建版本和环境一致性的重要性，为开发者提供参考。
谷歌DeepMind联手牛津推出Bolt3D：AI秒速3D建模革命！单GPU仅需6秒生成3D场景
牛津大学与谷歌联合推出的Bolt3D技术，能在单个GPU上仅用6.25秒从单张或多张图像生成高质量3D场景，基于高斯溅射和几何多视角扩散模型，为游戏、VR/AR等领域带来革命性突破。
免费试用