类目筛选
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
【最佳实践系列】高并发调用百炼语音合成大模型
本文介绍了阿里云百炼的CosyVoice语音合成大模型及其高并发调用优化方案。CosyVoice支持文本到语音的实时流式合成，适用于智能设备播报、音视频创作等多种场景。为了高效稳定地调用服务，文章详细讲解了WebSocket连接复用、连接池和对象池等优化技术，并通过对比实验展示了优化效果。优化后，机器负载降低，任务耗时减少，网络负载更优。同时，文章还提供了异常处理方法及常见问题解决方案，帮助开发者更好地集成和使用SDK。
探索大型语言模型LLM推理全阶段的JSON格式输出限制方法
本篇文章详细讨论了如何确保大型语言模型（LLMs）输出结构化的JSON格式，这对于提高数据处理的自动化程度和系统的互操作性至关重要。
十几行代码实现 Manus，Spring AI Alibaba Graph 快速预览
Spring AI Alibaba Graph 的核心开发已完成，即将发布正式版本。开发者可基于此轻松构建工作流、智能体及多智能体系统，功能丰富且灵活。文章通过三个示例展示了其应用：1) 客户评价处理系统，实现两级问题分类与自动处理；2) 基于 ReAct Agent 的天气预报查询系统，循环执行用户指令直至完成；3) 基于 Supervisor 多智能体的 OpenManus 实现，简化了流程控制逻辑并优化了工具覆盖度。此外，还提供了运行示例的方法及未来规划，欢迎开发者参与贡献。
用 AI + 高德地图 MCP，3 小时做出杭州美食地图
本文记录了一次从灵光一现到快速落地的 AI + 地图服务实践，通过结合 Cursor 与高德 MCP 地图服务平台，作者仅用几个小时就实现了一个可交互、可筛选、可推荐的杭州美食地图应用。
淘天AB实验分析平台Fluss落地实践：更适合实时OLAP的消息队列
淘天集团数据开发团队基于Fluss构建新一代实时数仓，解决数据消费冗余、探查困难及大State运维难题。Fluss融合列存与实时更新能力，支持列裁剪、KV点查、Delta Join及湖流一体，显著降低IO与计算资源消耗，提升作业稳定性与数据探查效率。已在淘天AB实验平台落地，覆盖搜索、推荐等核心业务，通过618大促验证，实现千万级流量、秒级延迟，资源消耗降低30%，State缩减超100TB。未来将持续深化湖仓架构，拓展AI场景应用。
开源 Remote MCP Server 一站式托管来啦！
MCP Server 的实施存在着诸多挑战，特别是在认证授权、服务可靠性和可观测性方面，Higress 作为 AI 原生的 API 网关，提供了完整的开源 MCP Server 托管解决方案，实现存量 API 到 MCP 的协议转换。即将上线的 MCP 市场，将大幅降低开发者构建 MCP Server 的时间和人力成本。
