类目筛选
AI Infra之模型显存管理分析
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后，发现显存占用一直上升，从未下降的现象，记录了排查过程。
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
Higress 重磅更新：AI 能力全面开源，云原生能力再升级
Higress 最新的 1.4 版本基于为通义千问，以及多家云上 AGI 厂商客户提供 AI 网关的积累沉淀，开源了大量 AI 原生的网关能力。同时也在 Ingress、可观测、流控等云原生能力上做了全方位升级。
软件测试之道 -- 做一个有匠心的程序员
作者一年前围绕设计模式与代码重构写了一篇《代码整洁之道 -- 告别码农，做一个有思想的程序员！》的文章。本文作为续篇，从测试角度谈程序员对软件质量的追求。
剑指大规模 AI 可观测，阿里云 Prometheus 2.0 应运而生
本文介绍了阿里云Prometheus 2.0方案，针对大规模AI系统的可观测性挑战进行全面升级。内容涵盖数据采集、存储、计算、查询及生态整合等维度。 Prometheus 2.0引入自研LoongCollector实现多模态数据采集，采用全新时序存储引擎提升性能，并支持RecordingRule与ScheduleSQL预聚合计算。查询阶段提供跨区域、跨账号的统一查询能力，结合PromQL与SPL语言增强分析功能。此外，该方案已成功应用于阿里云内部AI系统，如百炼、通义千问等大模型全链路监控。未来，阿里云将发布云监控2.0产品，进一步完善智能观测技术栈。
Koordinator 助力云原生应用性能提升，小红书混部技术实践
本文基于 2023 云栖大会上关于 Koordinator 分享的实录，介绍小红书通过规模化落地混部技术来大幅提升集群资源效能，降低业务资源成本。
“黏土风格”轻松拿捏，基于函数计算部署 ComfyUI实现AI生图
使用阿里云函数计算FC，快速部署AI绘画工具ComfyUI，体验高质量图像生成。新用户可享180元试用额度，包括GPU、vCPU、内存和调用次数。开通FC和文件存储NAS，通过应用中心选择ComfyUI模板创建应用。
