类目筛选
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
开源 Remote MCP Server 一站式托管来啦！
MCP Server 的实施存在着诸多挑战，特别是在认证授权、服务可靠性和可观测性方面，Higress 作为 AI 原生的 API 网关，提供了完整的开源 MCP Server 托管解决方案，实现存量 API 到 MCP 的协议转换。即将上线的 MCP 市场，将大幅降低开发者构建 MCP Server 的时间和人力成本。
容器内存可观测性新视角：WorkingSet 与 PageCache 监控
本文介绍了 Kubernetes 中的容器工作内存（WorkingSet）概念，它用于表示容器内存的实时使用量，尤其是活跃内存。
AI 克隆声音，只需 3 分钟（附最全教程）
文章介绍了GPT-Sovits，一个开源的生成式语音模型，因其在声音克隆上的高质量和简易性而受到关注。阿里云函数计算（Function Compute）提供了一个快速托管GPT-Sovits的方法，让用户无需管理服务器即可体验和部署该模型。通过函数计算，用户可以便捷地搭建基于GPT-Sovits的文本到语音服务，并享受到按需付费和弹性扩展的云服务优势。此外，文章还列举了GPT-Sovits在教育、游戏、新能源等多个领域的应用场景，并提供了详细的步骤指导，帮助用户在阿里云上部署和体验GPT-Sovits模型。
几百T的视频、图片数据进行更有效地存储和管理
采用传统硬盘搭建存储方案，看起来成本低廉，但是再加上各种附加因素后却大幅攀升，而云存储厂商通常提供基于订阅的定价模型、一些免费服务和一定的折扣。现在，我们就来了解一下如何更省钱地使用云存储。
NSDI'24 | 阿里云飞天洛神云网络论文解读——《LuoShen》揭秘新型融合网关 洛神云网关
NSDI‘24于4月16-18日在美国圣塔克拉拉市举办，阿里云飞天洛神云网络首次中稿NSDI，两篇论文入选。其中《LuoShen: A Hyper-Converged Programmable Gateway for Multi-Tenant Multi-Service Edge Clouds》提出超融合网关LuoShen，基于Tofino、FPGA和CPU的新型硬件形态，将公有云VPC设施部署到边缘机柜中，实现小型化、低成本和高性能。该方案使成本降低75%，空间占用减少87%，并提供1.2Tbps吞吐量，展示了强大的技术竞争力。
大模型上下文协议 MCP 带来了哪些货币化机会
本文探讨了MCP（Model-Calling Protocol）的兴起及其对AI生态的影响。自2月中旬起，MCP热度显著提升，GitHub Star和搜索指数均呈现加速增长趋势。MCP通过标准化协议连接大模型与外部工具，解决了碎片化集成问题，推动AI应用货币化及生态繁荣。文章分析了MCP与Function Calling的区别，指出MCP更适用于跨平台、标准化场景，而Function Calling在特定实时任务中仍具优势。此外，MCP促进了 supply端（如云厂商、大模型、中间件服务商）和消费端（终端用户）的变革，尤其以Devin和Manus为代表，分别改变了程序员和普通用户的交互方式。
剑指大规模 AI 可观测，阿里云 Prometheus 2.0 应运而生
本文介绍了阿里云Prometheus 2.0方案，针对大规模AI系统的可观测性挑战进行全面升级。内容涵盖数据采集、存储、计算、查询及生态整合等维度。 Prometheus 2.0引入自研LoongCollector实现多模态数据采集，采用全新时序存储引擎提升性能，并支持RecordingRule与ScheduleSQL预聚合计算。查询阶段提供跨区域、跨账号的统一查询能力，结合PromQL与SPL语言增强分析功能。此外，该方案已成功应用于阿里云内部AI系统，如百炼、通义千问等大模型全链路监控。未来，阿里云将发布云监控2.0产品，进一步完善智能观测技术栈。