开发者社区 > 龙蜥操作系统 > 视频 > 正文

为RTP-LLM提供Arm CPU后端,助力Arm AI软件生态持续发展

发布者:龙蜥社区(OpenAnolis) 2024-12-27 10:21:44 26
视频介绍

随着大语言模型(LLM)的普及与应用,AI计算需求快速增长。许多LLM模型运行在基于GPU的硬件上,而随着Arm架构不仅在边缘设备,而且在数据中心领域也愈发流行,如何让RTP-LLM(实时推理框架)有效支持Arm CPU平台变得尤为重要。通过优化LLM在Arm平台的推理性能,可以进一步提升功耗效率和模型部署的灵活性。


视频标签:

龙蜥社区(OpenAnolis)是面向国际的 Linux 服务器操作系统开源根社区及创新平台,秉承“平等、开放、协作、创新”的原则,理事会由阿里云、统信软件、龙芯、Arm 、Intel 等 24 家国内外头部企业共同组成,有超过 1000 家来自芯片厂商、软件厂商、整机厂商、操作系统厂商等覆盖操作系统全产业链的合作伙伴参与生态共建。

+关注
龙蜥社区(OpenAnolis)
欢迎加入OpenAnolis龙蜥社区:钉钉群号 43205002258。
文章
问答
视频
相关文章
更多