基于 SGlang RBG + Mooncake 打造生产级云原生大模型推理平台
本文旨在阐明如何将 Mooncake Store 作为 RBG 编排下 SGLang PD 分离推理服务的补充角色,系统化实现生产级 KVCache 外置能力。
633
0
0
线程池:故障梳理总结
本文从故障与技术双重视角,总结线程池满导致服务不可用的典型场景与根因,涵盖数据库慢查询、连接池配置不当、超时设置缺失等问题,结合真实案例剖析并提出fast-fail、流控、背压等防护策略,助力开发者提升系统稳定性。
193
1
1
揭开 Java 容器“消失的内存”之谜:云监控 2.0 SysOM 诊断实践
云监控 2.0中的 SysOM 系统诊断对应用内存进一步深挖,结合应用和操作系统的角度实现对主机、容器运行时及具体的 Java 应用进程进行内存占用拆解,快速有效地识别出 Java 内存占用的元凶。
379
1
1
干货推荐:容器可观测新视角—SysOM 延时抖动监控助力定位业务抖动原因
为了解决这一挑战,本文将结合实战案例,介绍如何在 Kubernetes 环境中使用 ack-sysom-monitor Exporter 对内核延迟进行可视化分析与定位,帮助你快速识别问题根因,并高效缓解由延迟引发的业务抖动。
406
25
25
优秀学子获颁证书,开放原子校源行Meetup活动(中南大学站)圆满举办
本次活动吸引了 70 余名中南大学本科生和研究生的积极参与,现场气氛热烈,同学们和与会嘉宾深入交流开源文化与技术应用,收获颇丰。
249
1
1
干货推荐:OOM 杀进程 or 应用卡顿?该如何抉择
推出了 FastOOM 功能,支持节点以及 Pod 级别的用户态 OOM 配置,通过提前介入杀进程的方式避 Near-OOM 导致的抖动夯机。
578
1
1
《Confidential MaaS 技术指南》发布,从 0 到 1 构建可验证 AI 推理环境
Confidential MaaS 将从前沿探索逐步成为 AI 服务的安全标准配置。
1327
84
84
龙蜥操作系统
龙蜥社区(OpenAnolis)是面向国际的 Linux 服务器操作系统开源根社区及创新平台,秉承“平等、开放、协作、创新”的原则,理事会由阿里云、统信软件、龙芯、Arm 、Intel 等 24 家国内外头部企业共同组成,有超过 1000 家来自芯片厂商、软件厂商、整机厂商、操作系统厂商等覆盖操作系统全产业链的合作伙伴参与生态共建。
0
今日
4374
内容
9
活动
9731
关注