直播预告:MantaKV 如何突破 AI 推理性能瓶颈? | 龙蜥大讲堂

简介: 深入剖析 AI 推理场景的核心需求与性能优化痛点。

「龙蜥大讲堂」4 月精彩预告来了,点击下方海报抢先了解。欢迎扫描海报二维码提前进群,立即预约锁定这场 AI 推理场景技术分享!

MantaKV:基于 CXL 共享内存的 KVCache 创新管理方案介绍

直播时间:2026 年 04 月 01 日 (周三)16:00-17:00

直播内容:

本次直播将深入剖析 AI 推理场景的核心需求与性能优化痛点,重点提出基于龙蜥操作系统面向 CXL 的 KVCache 管理解决方案;聚焦于 PD 分离架构下的 KVCache 复用场景,详细介绍 MantaKV 的创新机制,并展示其相较于传统 RDMA 方案所取得的显著性能提升。

适合人群:

AI 推理软件研发工程师。

讲师介绍:

Yihong Lian,浪潮信息系统软件架构师,研究领域为软件工程、分布式系统架构和设计。作为 MantaKV 的核心研发者,目前从事基于 CXL 共享内存加速 AI 推理的基础设施建设。

小龙温馨提醒往期龙蜥大讲堂视频回放已上线至龙蜥官网,欢迎观看,有任何疑问欢迎随时咨询龙蜥助手—小龙(微信:openanolis_assis)。


相关文章
|
2月前
|
存储 人工智能 缓存
极速、稳定、丝滑:OpenClaw 接入 Mooncake 后的性能跃迁
OpenClaw 不只是更快了,更重要的是更稳了。
|
存储 缓存 固态存储
SSD的原理和结构简介
SSD如淡雅之兰花,寻求内外统一,内涵与外在俱佳,除了英俊潇洒的外表,内在的魅力同样不可抵挡。
|
人工智能 安全 Cloud Native
龙蜥社区衍生版浪潮信息 KOS 升级!支持最新 5.10 内核,让大模型“开箱即用”
社区衍生版KeyarchOS产品升级,实现了大模型应用的“开箱即用”。
|
2月前
|
人工智能 达摩院 云计算
玄铁 C950 发布!龙蜥社区加速 RISC-V 云计算落地
介绍龙蜥社区制定的 2025 年至 2030 年的五年发展规划,深入阐述龙蜥如何助力和加速RISC-V在云计算场景的落地。
|
2月前
|
人工智能 弹性计算 运维
|
存储 缓存 NoSQL
阿里云 Tair 联手 SGLang 共建 HiCache,构建面向“智能体式推理”的缓存新范式
本文系统剖析面向智能体推理的 KVCache 技术演进,针对传统机制在长上下文、多轮决策与多智能体协同中的状态膨胀、持久化缺失和缓存孤立三大瓶颈,介绍阿里云 Tair KVCache 团队联合 SGLang 社区推出的 HiCache 分层缓存体系。该方案通过显存-内存-3FS 多级卸载与全局共享,实现缓存命中率提升至80%,TTFT 降低56%,推理 QPS 翻倍,支撑智能体时代的大模型高效推理。
|
存储 人工智能 安全
AI 驱动下的阿里云基础设施:技术创新与产品演进
本文整理自阿里云智能集团副总裁、阿里云弹性计算产品线与存储产品线负责人吴结生在“2025 AI势能大会”上的演讲,重点介绍了阿里云在AI基础设施领域的技术创新与产品演进。内容涵盖CIPU架构、盘古存储系统、高性能网络HPN等关键技术,以及第九代英特尔企业实例、ESSD同城冗余云盘等新产品发布。同时,文章详细阐述了灵骏集群的优化措施和可观测能力的提升,展示阿里云如何通过持续创新为AI负载提供强大支持,助力企业在AI时代实现智能化转型。
AI 驱动下的阿里云基础设施:技术创新与产品演进
|
缓存 移动开发 Linux
Pacman
Pacman
602 3
|
安全 NoSQL Java
JeecgBoot应用Spring Authorization Server
Spring Authorizaiton Server, 简称 sas,是一个授权服务器框架,提供 OAuth2.1 与 Open Connect 1.0 认证规范及其他规范的实现,它建立在 Spring Security 之上,为构建 OpenID Connect 1.0 Identity Provider 和 OAuth2 授权服务器产品提供了一个安全、轻量级和可定制的基础
478 3
|
机器学习/深度学习 数据采集 自动驾驶
深度学习之相机内参标定
相机内参标定(Camera Intrinsic Calibration)是计算机视觉中的关键步骤,用于确定相机的内部参数(如焦距、主点位置、畸变系数等)。传统的标定方法依赖于已知尺寸的标定板,通常需要手动操作,繁琐且耗时。基于深度学习的方法则通过自动化处理,提供了一种高效、准确的内参标定方式。
1115 13

热门文章

最新文章