类目筛选
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
破解 vLLM + DeepSeek 规模化部署的“不可能三角”
vLLM 是一种便捷的大型语言模型（LLM）推理服务，旨在简化个人和企业用户对复杂模型的使用。通过 vLLM，用户可以轻松发起推理请求，享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战，如大模型参数量、高效推理能力和上下文理解等，阿里云函数计算（FC）提供了 GPU 预留实例闲置计费功能，优化了性能、成本和稳定性之间的平衡。此外，FC 支持简便的部署流程和多种应用集成方式，帮助企业快速上线并管理 vLLM 服务。总结来说，vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项，满足不同业务需求。
大模型上下文协议 MCP 带来了哪些货币化机会
本文探讨了MCP（Model-Calling Protocol）的兴起及其对AI生态的影响。自2月中旬起，MCP热度显著提升，GitHub Star和搜索指数均呈现加速增长趋势。MCP通过标准化协议连接大模型与外部工具，解决了碎片化集成问题，推动AI应用货币化及生态繁荣。文章分析了MCP与Function Calling的区别，指出MCP更适用于跨平台、标准化场景，而Function Calling在特定实时任务中仍具优势。此外，MCP促进了 supply端（如云厂商、大模型、中间件服务商）和消费端（终端用户）的变革，尤其以Devin和Manus为代表，分别改变了程序员和普通用户的交互方式。
十几行代码实现 Manus，Spring AI Alibaba Graph 快速预览
Spring AI Alibaba Graph 的核心开发已完成，即将发布正式版本。开发者可基于此轻松构建工作流、智能体及多智能体系统，功能丰富且灵活。文章通过三个示例展示了其应用：1) 客户评价处理系统，实现两级问题分类与自动处理；2) 基于 ReAct Agent 的天气预报查询系统，循环执行用户指令直至完成；3) 基于 Supervisor 多智能体的 OpenManus 实现，简化了流程控制逻辑并优化了工具覆盖度。此外，还提供了运行示例的方法及未来规划，欢迎开发者参与贡献。
如何在通义灵码里使用 MCP 能力
通义灵码支持MCP工具使用，通过模型自主规划实现工具调用，深度集成魔搭MCP广场，涵盖2400+热门服务。提供STDIO和SSE两种通信模式，适用于不同场景需求。用户可通过智能体模式调用MCP工具，完成如网页内容抓取、天气查询等任务。文档详细介绍了服务配置、使用流程及常见问题解决方法，助力开发者高效拓展AI编码能力。
基于 AI 网关和 llmaz，提升 vLLM 推理服务可用性和部署易用性的实践
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
基于 EventBridge 构筑 AI 领域高效数据集成方案
本文深入探讨了AI时代数据处理的变革与挑战，分析了事件驱动架构（EventBridge）在AI数据处理中的技术优势，并结合实践案例，展示了其在多源数据接入、向量数据库优化、智能数据转换等方面的应用价值。