类目筛选
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
大模型无缝切换，QwQ-32B和DeepSeek-R1 全都要
通义千问最新推出的QwQ-32B推理模型，拥有320亿参数，性能媲美DeepSeek-R1（6710亿参数）。QwQ-32B支持在小型移动设备上本地运行，并可将企业大模型API调用成本降低90%以上。本文介绍了如何通过Higress AI网关实现DeepSeek-R1与QwQ-32B之间的无缝切换，涵盖环境准备、模型接入配置及客户端调用示例等内容。此外，还详细探讨了Higress AI网关的多模型服务、消费者鉴权、模型自动切换等高级功能，帮助企业解决TPS与成本平衡、内容安全合规等问题，提升大模型应用的稳定性和效率。
大模型上下文协议 MCP 带来了哪些货币化机会
本文探讨了MCP（Model-Calling Protocol）的兴起及其对AI生态的影响。自2月中旬起，MCP热度显著提升，GitHub Star和搜索指数均呈现加速增长趋势。MCP通过标准化协议连接大模型与外部工具，解决了碎片化集成问题，推动AI应用货币化及生态繁荣。文章分析了MCP与Function Calling的区别，指出MCP更适用于跨平台、标准化场景，而Function Calling在特定实时任务中仍具优势。此外，MCP促进了 supply端（如云厂商、大模型、中间件服务商）和消费端（终端用户）的变革，尤其以Devin和Manus为代表，分别改变了程序员和普通用户的交互方式。
MCP Server 实践之旅第 3 站：MCP 协议亲和性的技术解析
本文将以 MCP Server 在函数计算平台的深度集成为研究载体，解构基于 SSE 长连接通信模型，剖析会话亲和、优雅升级等关键技术，揭示 Serverless 架构在 MCP 场景中的亲和性创新实践。
基于 AI 网关和 llmaz，提升 vLLM 推理服务可用性和部署易用性的实践
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。