【上海站】SGLang和ta的朋友们:共探大模型推理新范式

简介: 本次Meetup聚焦大模型推理性能突破,SGLang、阿里云Tair KVCache、NVIDIA与千问APP团队联合分享:SGLang路线图、Tair分层存储重构、低延迟优化及投机采样等实战方案,共探无限上下文与降本增效新路径。除了技术干货,现场参与还可获得定制的开工礼包,快来提前预定席位吧!

随着大模型(LLM)应用深入,长文档分析、多轮 Agent 交互等场景对上下文长度的需求爆发式增长。然而,有限的 GPU 和 HBM 显存资源已成为制约推理性能和扩展性的核心瓶颈。如何在保证极致推理速度的同时,显著降低 TCO 并支持无限延伸的上下文,是业界共同面临的挑战。

本次 Meetup 由 SGLang阿里云数据库 Tair KVCacheNVIDIA 开发者社区 和千问 APP 基础工程团队联合举办。活动将深度聚焦大模型推理的演进方向,公开 SGLang 的最新发展路线图,深度解密 Tair KVCache 如何通过分层存储和高速网络重构推理架构。同时,我们特邀来自千问 APP、 NVIDIA 的技术专家,分享在构建大规模、高性能推理服务的一线优化实战经验。

📅 3月7日14:00-18:00

📍上海 T·HOUSE 艺术空间(闵行区漕河泾开发区,古美路 1528 弄 7 号楼)


👉🏻报名链接:https://survey.aliyun.com/apps/zhiliao/rhkk7qcDX

加入钉钉交流群:109765011301

精彩看点预告

1️⃣ SGLang 独家剧透

SGLang 的现状与未来全景路线

《SGLang 高性能推理:现状与未来路线图全景解析》

《SGLang 面向 HybridModel 的优化实践》

2️⃣ 千问 APP 业务实战

看千问APP的大模型低延迟推理优化实践

《千问APP中大模型低延迟推理优化实践》

《ECHO-面向高并发低延迟推理的投机采样新方法》

3️⃣ 阿里云存储重构

深度解密阿里云 Tair KVCache 与 NVIDIA、Mooncake 等生态伙伴的技术突破。

《SGLang 阿里云 Tair KVCache 协同进化》

《Qwen3.5 推理优化实践》

《阿里云 Tair KVCM + Mooncake:全局管理与高性能存储的深度融合》

《SGLang 仿真优化: Tair HiSim 与 Dynamo AIConfigurator 的协同实践》

这是一场关于速度、规模与成本的技术深度交流,诚邀每一位关注 LLM 基础设施的开发者参与。除了技术干货,现场参与还可获得定制的开工礼包,快来提前预定席位吧!

👉🏻报名链接:https://survey.aliyun.com/apps/zhiliao/rhkk7qcDX

目录
相关文章
|
存储 缓存 NoSQL
阿里云 Tair 联手 SGLang 共建 HiCache,构建面向“智能体式推理”的缓存新范式
本文系统剖析面向智能体推理的 KVCache 技术演进,针对传统机制在长上下文、多轮决策与多智能体协同中的状态膨胀、持久化缺失和缓存孤立三大瓶颈,介绍阿里云 Tair KVCache 团队联合 SGLang 社区推出的 HiCache 分层缓存体系。该方案通过显存-内存-3FS 多级卸载与全局共享,实现缓存命中率提升至80%,TTFT 降低56%,推理 QPS 翻倍,支撑智能体时代的大模型高效推理。
|
17天前
|
存储 人工智能 测试技术
基于 VectorDBBench 的性能评测与架构解析:Lindorm 向量引擎的优化实践
阿里云Lindorm向量检索服务重磅升级,依托CBO/RBO混合优化器与自适应混合索引,实测QPS达5.6万(百万级)、2.4万+(千万级),P99延迟低至2ms,融合检索性能行业领先,全面支撑AI时代高并发、低延迟、强一致的生产级向量应用。
152 4
|
1月前
|
存储 缓存 算法
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云 Tair 联合 SGLang 推出分层稀疏化框架,通过“稀疏+分层”协同优化,将 KVCache 从 GPU 显存扩展至 CPU 与远端存储,实现计算与存储效率双突破,为百万级超长上下文推理提供新路径。
|
24天前
|
人工智能 API 调度
别再只依赖 ChatGPT 了:多模型协同,才是 AI 项目走向生产的关键一步
本文剖析AI项目落地困局:ChatGPT Agent类应用用户流失率超70%,根源不在模型不够强,而在于单模型架构难以支撑生产环境——稳定性差、成本高、难治理。文章从数据冲击、痛点直击等五维度论证,提出“多模型协同”是破局关键:按场景选模、统一调度、动态兜底,构建可控、可替换、可长期运行的AI系统架构。
|
人工智能 算法 数据管理
阿里云 OSS MetaQuery 全面升级——新增内容和语义的检索能力,助力 AI 应用快速落地
阿里云 OSS MetaQuery(数据索引)全新升级,支持基于内容和语义的智能检索,面向安防监控、智慧社区、智能零售等场景。企业可快速开启该能力,无需自建基础设施或优化模型,即可自动完成视频、图片、文档等非结构化数据的向量化与索引构建,基于成熟的精排算法和多路召回机制,有效提升检索准确率与召回率,轻松实现 RAG 多模态语义检索和 AI 应用,标志着 OSS 迈入 AI 原生数据管理新时代。
842 0
|
1月前
|
人工智能 自然语言处理 运维
阿里开源 Assistant Agent,助力企业快速构建答疑、诊断智能助手
一款快速构建智能客服、诊断助手、运维助手、AIOps 的开源框架。
754 59
|
存储 缓存 NoSQL
开源 | 阿里云 Tair KVCache Manager:企业级全局 KVCache 管理服务的架构设计与实现
阿里云 Tair 联合团队推出企业级全局 KVCache 管理服务 Tair KVCache Manager,通过中心化元数据管理与多后端存储池化,实现 KVCache 的跨实例共享与智能调度。该服务解耦算力与存储,支持弹性伸缩、多租户隔离及高可用保障,显著提升缓存命中率与资源利用率,重构大模型推理成本模型,支撑智能体时代的规模化推理需求。
|
存储 缓存 NoSQL
阿里云 Tair KVCache 仿真分析:高精度的计算和缓存模拟设计与实现
阿里云 Tair 推出 KVCache-HiSim,首个高保真 LLM 推理仿真工具。在 CPU 上实现<5%误差的性能预测,成本仅为真实集群的1/39万,支持多级缓存建模与 SLO 约束下的配置优化,助力大模型高效部署。