直播预告:MantaKV 如何突破 AI 推理性能瓶颈? | 龙蜥大讲堂

简介: 深入剖析 AI 推理场景的核心需求与性能优化痛点。

「龙蜥大讲堂」4 月精彩预告来了,点击下方海报抢先了解。欢迎扫描海报二维码提前进群,立即预约锁定这场 AI 推理场景技术分享!

MantaKV:基于 CXL 共享内存的 KVCache 创新管理方案介绍

直播时间:2026 年 04 月 01 日 (周三)16:00-17:00

直播内容:

本次直播将深入剖析 AI 推理场景的核心需求与性能优化痛点,重点提出基于龙蜥操作系统面向 CXL 的 KVCache 管理解决方案;聚焦于 PD 分离架构下的 KVCache 复用场景,详细介绍 MantaKV 的创新机制,并展示其相较于传统 RDMA 方案所取得的显著性能提升。

适合人群:

AI 推理软件研发工程师。

讲师介绍:

Yihong Lian,浪潮信息系统软件架构师,研究领域为软件工程、分布式系统架构和设计。作为 MantaKV 的核心研发者,目前从事基于 CXL 共享内存加速 AI 推理的基础设施建设。

小龙温馨提醒往期龙蜥大讲堂视频回放已上线至龙蜥官网,欢迎观看,有任何疑问欢迎随时咨询龙蜥助手—小龙(微信:openanolis_assis)。


相关文章
|
20天前
|
存储 人工智能 缓存
极速、稳定、丝滑:OpenClaw 接入 Mooncake 后的性能跃迁
OpenClaw 不只是更快了,更重要的是更稳了。
|
20天前
|
人工智能 达摩院 云计算
玄铁 C950 发布!龙蜥社区加速 RISC-V 云计算落地
介绍龙蜥社区制定的 2025 年至 2030 年的五年发展规划,深入阐述龙蜥如何助力和加速RISC-V在云计算场景的落地。
|
人工智能 安全 Cloud Native
龙蜥社区衍生版浪潮信息 KOS 升级!支持最新 5.10 内核,让大模型“开箱即用”
社区衍生版KeyarchOS产品升级,实现了大模型应用的“开箱即用”。
|
2天前
|
机器学习/深度学习 人工智能 图形学
🦞快在轻量化服务器上部署你的视觉龙虾吧——支持视觉识别到3D打印
彭博士打造的“视觉龙虾”系统,融合多视角3D重建、点云深度学习与参数化建模,支持手机拍照或自然语言输入,秒级生成可3D打印的STL模型。依托OpenClaw智能编排与阿里云轻量化部署,真正实现“想法→照片/文字→3D模型→实物”的端到端闭环,让3D打印零门槛。(239字)
137 8
🦞快在轻量化服务器上部署你的视觉龙虾吧——支持视觉识别到3D打印
|
20天前
|
人工智能 弹性计算 运维
|
存储 缓存 NoSQL
阿里云 Tair 联手 SGLang 共建 HiCache,构建面向“智能体式推理”的缓存新范式
本文系统剖析面向智能体推理的 KVCache 技术演进,针对传统机制在长上下文、多轮决策与多智能体协同中的状态膨胀、持久化缺失和缓存孤立三大瓶颈,介绍阿里云 Tair KVCache 团队联合 SGLang 社区推出的 HiCache 分层缓存体系。该方案通过显存-内存-3FS 多级卸载与全局共享,实现缓存命中率提升至80%,TTFT 降低56%,推理 QPS 翻倍,支撑智能体时代的大模型高效推理。
|
12天前
|
人工智能 Rust JavaScript
开源项目 Agentic OS 实战指南:手把手教你从 ANOLISA 源码安装
ANOLISA 都能为你提供从构建到运行的完整工具链。
|
6天前
|
消息中间件 运维 安全
非得显卡?小模型跑在CPU上也照样快
Aether项目聚焦边缘/无GPU/私有化场景,用≤9B小模型构建高可用智能运维Agent:融合RAG知识库、分级意图路由、SOP式Skill编排与LoRA微调,兼顾数据安全、低资源消耗与强领域专业性。(238字)
129 2
|
4月前
|
人工智能 安全 数据安全/隐私保护