类目筛选
2025-04-10
583
AI Infra之模型显存管理分析
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后，发现显存占用一直上升，从未下降的现象，记录了排查过程。
583
2025-04-17
1277
通义灵码 Rules 库合集来了，覆盖Java、TypeScript、Python、Go、JavaScript 等
通义灵码新上的外挂 Project Rules 获得了开发者的一致好评：最小成本适配我的开发风格、相当把团队经验沉淀下来，是个很好功能……
1,277
2025-06-30
442
基于 AI 网关和 llmaz，提升 vLLM 推理服务可用性和部署易用性的实践
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
442
2024-05-15
1250
全景剖析阿里云容器网络数据链路（四）—— Terway IPVLAN+EBPF
本文是[全景剖析容器网络数据链路]第四部分部分，主要介绍Kubernetes Terway EBPF+IPVLAN模式下，数据面链路的转转发链路。
1,250
2025-02-20
679
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
679
702
Dify 开发者必看：如何破解 MCP 集成与 Prompt 迭代难题？
Dify 是面向 AI 时代的开源大语言模型应用开发平台，GitHub Star 数超 10 万，为 LLMOps 领域增长最快项目之一。然而其在 MCP 协议集成、Prompt 敏捷调整及运维配置管理上存在短板。Nacos 3.0 作为阿里巴巴开源的注册配置中心，升级支持 MCP 动态管理、Prompt 实时变更与 Dify 环境变量托管，显著提升 Dify 应用的灵活性与运维效率。通过 Nacos，Dify 可动态发现 MCP 服务、按需路由调用，实现 Prompt 无感更新和配置白屏化运维，大幅降低 AI 应用开发门槛与复杂度。
702