类目筛选
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
【算法精讲系列】通义模型Prompt调优的实用技巧与经验分享
本文详细阐述了Prompt的设计要素，包括引导语、上下文信息等，还介绍了多种Prompt编写策略，如复杂规则拆分、关键信息冗余、使用分隔符等，旨在提高模型输出的质量和准确性。通过不断尝试、调整和优化，可逐步实现更优的Prompt设计。
AI开源框架：让分布式系统调试不再"黑盒"
Ray是一个开源分布式计算框架，专为支持可扩展的人工智能（AI）和Python应用程序而设计。它通过提供简单直观的API简化分布式计算，使得开发者能够高效编写并行和分布式应用程序 。Ray广泛应用于深度学习训练、大规模推理服务、强化学习以及AI数据处理等场景，并构建了丰富而成熟的技术生态。
MCP进阶：一键批量搞定MCP工具部署
本文介绍了一种基于阿里云计算巢的一站式MCP工具解决方案，解决了传统MCP工具集成中的效率低下、调用方式割裂和动态管理困难等问题。方案通过标准化协议实现多MCP工具批量部署，提高云资源利用率，并支持OpenAPI与MCP双通道调用，使主流AI助手如Dify、Cherry Studio等无缝接入。内容涵盖背景、原理剖析、部署使用实战及问题排查，最后强调MCP协议作为“通用语言”连接数字与物理世界的重要性。
为大模型工程提效，基于阿里云 ACK 的云原生 AI 工程化实践
本文主要介绍了解析云原生 AI 所遇到的技术挑战和应对方案，随后介绍云原生 AI 领域的关键技术与架构细节，最后分享我们在 ACK 的相关经验及工程实践。
Multi-Agent实践第6期：面向智能体编程：狼人杀在AgentScope
本期文章，我们会介绍一下AgentScope的一个设计哲学（Agent-oriented programming）
详解微服务应用灰度发布最佳实践
相对于传统软件研发，微服务架构下典型的需求交付最大的区别在于有了能够小范围真实验证的机制，且交付单位较小，风险可控，灰度发布可以弥补线下测试的不足。本文从 DevOps 视角概述灰度发布实践，介绍如何将灰度发布与 DevOps 工作融合，快来了解吧~
监控vLLM等大模型推理性能
本文将深入探讨 AI 推理应用的可观测方案，并基于 Prometheus 规范提供一套完整的指标观测方案，帮助开发者构建稳定、高效的推理应用。
