类目筛选
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
速成RAG+Agent框架大模型应用搭建
本文侧重于能力总结和实操搭建部分，从大模型应用的多个原子能力实现出发，到最终串联搭建一个RAG+Agent架构的大模型应用。
AI开源框架：让分布式系统调试不再"黑盒"
Ray是一个开源分布式计算框架，专为支持可扩展的人工智能（AI）和Python应用程序而设计。它通过提供简单直观的API简化分布式计算，使得开发者能够高效编写并行和分布式应用程序 。Ray广泛应用于深度学习训练、大规模推理服务、强化学习以及AI数据处理等场景，并构建了丰富而成熟的技术生态。
MCP Server 开发实战 | 大模型无缝对接 Grafana
以 AI 世界的“USB-C”标准接口——MCP（Model Context Protocol）为例，演示如何通过 MCP Server 实现大模型与阿里云 Grafana 服务的无缝对接，让智能交互更加高效、直观。
为大模型工程提效，基于阿里云 ACK 的云原生 AI 工程化实践
本文主要介绍了解析云原生 AI 所遇到的技术挑战和应对方案，随后介绍云原生 AI 领域的关键技术与架构细节，最后分享我们在 ACK 的相关经验及工程实践。
高并发架构设计三大利器：缓存、限流和降级
软件系统有三个追求：高性能、高并发、高可用，俗称三高。本篇讨论高并发，从高并发是什么到高并发应对的策略、缓存、限流、降级等。
MCP Server的五种主流架构与Nacos的选择
本文深入探讨了Model Context Protocol (MCP) 在企业级环境中的部署与管理挑战，详细解析了五种主流MCP架构模式（直连远程、代理连接远程、直连本地、本地代理连接本地、混合模式）的优缺点及适用场景，并结合Nacos服务治理框架，提供了实用的企业级MCP部署指南。通过Nacos MCP Router，实现MCP服务的统一管理和智能路由，助力金融、互联网、制造等行业根据数据安全、性能需求和扩展性要求选择合适架构。文章还展望了MCP在企业落地的关键方向，包括中心化注册、软件供应链控制和安全访问等完整解决方案。
从云原生视角看 AI 原生应用架构的实践
本文核心观点： • 基于大模型的 AI 原生应用将越来越多，容器和微服务为代表的云原生技术将加速渗透传统业务。 • API 是 AI 原生应用的一等公民，并引入了更多流量，催生企业新的生命力和想象空间。 • AI 原生应用对网关的需求超越了传统的路由和负载均衡功能，承载了更大的 AI 工程化使命。 • AI Infra 的一致性架构至关重要，API 网关、消息队列、可观测是 AI Infra 的重要组成。