类目筛选
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
SLS Copilot 实践：基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践，展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
AI开源框架：让分布式系统调试不再"黑盒"
Ray是一个开源分布式计算框架，专为支持可扩展的人工智能（AI）和Python应用程序而设计。它通过提供简单直观的API简化分布式计算，使得开发者能够高效编写并行和分布式应用程序 。Ray广泛应用于深度学习训练、大规模推理服务、强化学习以及AI数据处理等场景，并构建了丰富而成熟的技术生态。
【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Coder模型
Qwen3-Coder 是通义千问最新开源的 AI 编程大模型正式开源，拥有卓越的代码和 Agent 能力，在多领域取得了开源模型的 SOTA 效果。PAI 已支持最强版本 Qwen3-Coder-480B-A35B-Instruct 的云上一键部署。
Paimon 与 Spark 的集成（二）：查询优化
通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。