类目筛选
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
基于事件驱动构建 AI 原生应用
AI 应用在商业化服务的阶段会面临诸多挑战，比如更快的服务交付速度，更实时、精准的结果以及更人性化的体验等，传统架构限制于同步交互，无法满足上述需求，本篇文章给大家分享一下如何基于事件驱动架构应对上述挑战。
智能理解 PPT 内容，快速生成讲解视频
本方案利用函数计算 FC 部署 Web 应用，调用百炼模型服务实现 PPT 到视频的自动转换。视觉模型智能理解 PPT 图文内容，快速生成相匹配的解说词；文本模型对解说词进行优化，提高其可读性和吸引力；语音模型则根据解说词生成生动流畅的旁白音频。整个过程高度集成，只需一键操作，系统即可自动整合图片、文本和音频素材，快速生成对应讲解视频。
AI Infra之模型显存管理分析
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后，发现显存占用一直上升，从未下降的现象，记录了排查过程。
让X不断延伸, 从跨AZ到跨Region再到跨Cloud
本文从“空间”这一维度，聊一聊PolarDB-X在跨空间部署能力上的不断发展和延伸，以及在不同空间范围下的高可用和容灾能力，并着重介绍一下最新的产品能力——GDN(Global Database Network)。