阿里云在新一代通用计算服务器设计中，针对处理器核心数迅速增长（2024年超100核）、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题，推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径，优化散热支持600瓦TDP，并实现CIPU节点比例灵活配比及部件模块化可插拔设计，提升运维效率和客户响应速度。此外，还介绍了面向AI的服务器架构挑战与软硬件结合创新，包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后，探讨了大模型高效推理中的显存优化和量化压缩技术，旨在降低部署成本并提高系统效率。
