Anolis

首页 标签 Anolis
# Anolis #
关注
1713内容
从龙蜥孵化到上游贡献:SGLang Tracing 与 AI Agent 调优实践
演讲中回顾了其在龙蜥社区孵化并向上游贡献的 SGLang Tracing 可观测性建设历程,并结合具体案例探讨如何利用 AI Agent 实现 SGLang 框架的性能优化。
如何利用 AI Agent 实现热补丁的自动化生成
详细剖析了如何利用 AI Agent 实现热补丁的自动化生成,成功将补丁制作周期从“天级别”压缩至“分钟级别”。
SGLang Roadmap - 面向大模型与多模态模型的高性能开源推理系统
SGLang社区核心维护者童心源深度解读《SGLang Roadmap:面向大模型与多模态模型的高性能开源推理系统》。视频涵盖SGLang发展历程,重点剖析PD分离、多模态与硬件支持、RL/post-training部署等关键技术创新,并分享开源社区协作进展及最新性能优化路线图,带你全面了解这一高性能开源推理系统的前沿动态。
从全链路可观测到智能分析 - AI 性能分析范式的演进与实践
龙蜥社区SGLang项目开发者苏峰与智算联盟委员常怀鑫联合分享《从全链路可观测到智能分析:AI性能分析范式的演进与实践》。视频回顾了SGLang Tracing可观测性建设历程,并结合实战案例,深入探讨如何借助AI Agent实现SGLang框架的智能性能优化,展现AI性能分析新范式的落地应用。
量化部署+算子优化:解锁国产硬件大模型高效推理破局之道
围绕主流开源大模型,介绍在国产化硬件上的适配实践:通过低比特量化实现高效部署,结合多算子融合与单算子调优技术,全面提升端到端推理性能。
从黑盒到透明:SGLang tracing如何赋能LLM推理性能诊断
大模型推理服务的性能问题往往难以定位——请求延迟高是卡在哪个环节?队列等待、prefill 计算、还是 decode 阶段?传统监控只能提供聚合指标,无法精准定位单请求瓶颈。SGLang 请求追踪系统解决了这一痛点。通过端到端的全链路追踪,每个请求从入口到输出的完整生命周期被精确记录:队列等待耗时、prefill/decode 各阶段时长、跨节点传输延迟等关键指标一目了然。结合 OpenTelemetry 标准,可与主流可观测性平台无缝集成,实现可视化分析。这套系统让性能调优从"猜测驱动"转变为"数据驱动",帮助开发者快速识别热点、优化资源配比,显著提升 LLM 服务的吞吐与响应质量。
免费试用