SGLang Roadmap - 面向大模型与多模态模型的高性能开源推理系统
SGLang社区核心维护者童心源深度解读《SGLang Roadmap:面向大模型与多模态模型的高性能开源推理系统》。视频涵盖SGLang发展历程,重点剖析PD分离、多模态与硬件支持、RL/post-training部署等关键技术创新,并分享开源社区协作进展及最新性能优化路线图,带你全面了解这一高性能开源推理系统的前沿动态。
从全链路可观测到智能分析 - AI 性能分析范式的演进与实践
龙蜥社区SGLang项目开发者苏峰与智算联盟委员常怀鑫联合分享《从全链路可观测到智能分析:AI性能分析范式的演进与实践》。视频回顾了SGLang Tracing可观测性建设历程,并结合实战案例,深入探讨如何借助AI Agent实现SGLang框架的智能性能优化,展现AI性能分析新范式的落地应用。
从黑盒到透明:SGLang tracing如何赋能LLM推理性能诊断
大模型推理服务的性能问题往往难以定位——请求延迟高是卡在哪个环节?队列等待、prefill 计算、还是 decode 阶段?传统监控只能提供聚合指标,无法精准定位单请求瓶颈。SGLang 请求追踪系统解决了这一痛点。通过端到端的全链路追踪,每个请求从入口到输出的完整生命周期被精确记录:队列等待耗时、prefill/decode 各阶段时长、跨节点传输延迟等关键指标一目了然。结合 OpenTelemetry 标准,可与主流可观测性平台无缝集成,实现可视化分析。这套系统让性能调优从"猜测驱动"转变为"数据驱动",帮助开发者快速识别热点、优化资源配比,显著提升 LLM 服务的吞吐与响应质量。