类目筛选
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
一文梳理我们是如何打造出国内领先的 AI 编程助手「通义灵码」
大语言模型的革命性突破使智能编程成为了可能，通义灵码正是基于通义大模型打造的 AI 编程助手，通过 IDE 插件的形式提供代码补全、单元测试生成等功能，能达到毫秒级的响应速度。目前，通义灵码已在阿里云内部及多家企业中应用，阿里云也在探索多智能体产品，即 AI 程序员，助力数字世界的蓬勃发展，颠覆 IT 生产力。
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
API 网关 OpenID Connect 实战：单点登录（SSO）如此简单
单点登录（SSO）可解决用户在多系统间频繁登录的问题，OIDC 因其标准化、简单易用及安全性等优势成为实现 SSO 的优选方案，本文通过具体步骤示例对 Higress 中开源的 OIDC Wasm 插件进行了介绍，帮助用户零代码实现 SSO 单点登录。
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器，对 Kubernetes 环境下日志采集有着非常好的支持，本文跟随 iLogtail 的脚步，了解容器运行时与 K8s 下日志数据采集原理。