类目筛选
【最佳实践系列】高并发调用百炼语音合成大模型
本文介绍了阿里云百炼的CosyVoice语音合成大模型及其高并发调用优化方案。CosyVoice支持文本到语音的实时流式合成，适用于智能设备播报、音视频创作等多种场景。为了高效稳定地调用服务，文章详细讲解了WebSocket连接复用、连接池和对象池等优化技术，并通过对比实验展示了优化效果。优化后，机器负载降低，任务耗时减少，网络负载更优。同时，文章还提供了异常处理方法及常见问题解决方案，帮助开发者更好地集成和使用SDK。
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
基于事件驱动构建 AI 原生应用
AI 应用在商业化服务的阶段会面临诸多挑战，比如更快的服务交付速度，更实时、精准的结果以及更人性化的体验等，传统架构限制于同步交互，无法满足上述需求，本篇文章给大家分享一下如何基于事件驱动架构应对上述挑战。
Dify 开发者必看：如何破解 MCP 集成与 Prompt 迭代难题？
Dify 是面向 AI 时代的开源大语言模型应用开发平台，GitHub Star 数超 10 万，为 LLMOps 领域增长最快项目之一。然而其在 MCP 协议集成、Prompt 敏捷调整及运维配置管理上存在短板。Nacos 3.0 作为阿里巴巴开源的注册配置中心，升级支持 MCP 动态管理、Prompt 实时变更与 Dify 环境变量托管，显著提升 Dify 应用的灵活性与运维效率。通过 Nacos，Dify 可动态发现 MCP 服务、按需路由调用，实现 Prompt 无感更新和配置白屏化运维，大幅降低 AI 应用开发门槛与复杂度。