随着大语言模型(LLM)的普及与应用,AI计算需求快速增长。许多LLM模型运行在基于GPU的硬件上,而随着Arm架构不仅在边缘设备,而且在数据中心领域也愈发流行,如何让RTP-LLM(实时推理框架)有效支持Arm CPU平台变得尤为重要。通过优化LLM在Arm平台的推理性能,可以进一步提升功耗效率和模型部署的灵活性。
龙蜥社区(OpenAnolis)是面向国际的 Linux 服务器操作系统开源根社区及创新平台,秉承“平等、开放、协作、创新”的原则,理事会由阿里云、统信软件、龙芯、Arm 、Intel 等 24 家国内外头部企业共同组成,有超过 1000 家来自芯片厂商、软件厂商、整机厂商、操作系统厂商等覆盖操作系统全产业链的合作伙伴参与生态共建。