类目筛选
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
开源 Remote MCP Server 一站式托管来啦！
MCP Server 的实施存在着诸多挑战，特别是在认证授权、服务可靠性和可观测性方面，Higress 作为 AI 原生的 API 网关，提供了完整的开源 MCP Server 托管解决方案，实现存量 API 到 MCP 的协议转换。即将上线的 MCP 市场，将大幅降低开发者构建 MCP Server 的时间和人力成本。
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
AI Infra之模型显存管理分析
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后，发现显存占用一直上升，从未下降的现象，记录了排查过程。
阿里云百炼应用实践系列-10分钟构建能主动提问的智能导购
通过使用阿里云百炼平台，您可以快速构建一个多代理（Multi-Agent）架构的智能导购助手。该助手能够通过多轮互动了解顾客的具体需求，收集详细信息后，利用阿里云百炼的知识检索增强功能或已有的商品数据库进行商品搜索，为顾客推荐最合适的产品。
从零开始开发 MCP Server
本文介绍如何使用Serverless Devs CLI工具从零开发并一键部署MCP Server到阿里云函数计算（FC）。首先通过初始化MCP Server项目，完成本地代码编写，利用Node.js实现一个简单的Hello World工具。接着对代码进行打包，并通过Serverless Devs工具将项目部署至云端。部署完成后，提供三种客户端接入方式：官方Client、其他本地Client及在FC上部署的Client。最后可通过内置大模型的inspector测试部署效果。Serverless Devs简化了开发流程，提升了MCP Server的构建效率。
对比测评：AI编程工具需要 Rules 能力
通义灵码Project Rules是一种针对AI代码生成的个性化规则设定工具，旨在解决AI生成代码不精准或不符合开发者需求的问题。通过定义编码规则（如遵循SOLID原则、OWASP安全规范等），用户可引导模型生成更符合项目风格和偏好的代码。例如，在使用阿里云百炼服务平台的curl调用时，通义灵码可根据预设规则生成Java代码，显著提升代码采纳率至95%以上。此外，还支持技术栈、应用逻辑设计、核心代码规范等多方面规则定制，优化生成代码的质量与安全性。