类目筛选
监控vLLM等大模型推理性能
本文将深入探讨 AI 推理应用的可观测方案，并基于 Prometheus 规范提供一套完整的指标观测方案，帮助开发者构建稳定、高效的推理应用。
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
Flink CDC+Kafka 加速业务实时化
阿里巴巴开发工程师，Apache Flink Committer 任庆盛，在 9 月 24 日 Apache Flink Meetup 的分享。
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
Meta发布了 Meta Llama 3系列，是LLama系列开源大型语言模型的下一代。在接下来的几个月，Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能，并会分享 Llama 3 研究论文。
Qwen-MT：翻得快，译得巧
今天，机器翻译模型Qwen-MT正式上线，支持92种语言互译，具备高度可控性与低延迟、低成本特点，适用于多种场景。开发者可通过Qwen API体验其强大翻译能力。
从零构建现代深度学习框架(TinyDL-0.01)
本文主要以一个Java工程师视角，阐述如何从零(无任何二三方依赖)构建一个极简(麻雀虽小五脏俱全)现代深度学习框架（类比AI的操作系统）。
一文梳理我们是如何打造出国内领先的 AI 编程助手「通义灵码」
大语言模型的革命性突破使智能编程成为了可能，通义灵码正是基于通义大模型打造的 AI 编程助手，通过 IDE 插件的形式提供代码补全、单元测试生成等功能，能达到毫秒级的响应速度。目前，通义灵码已在阿里云内部及多家企业中应用，阿里云也在探索多智能体产品，即 AI 程序员，助力数字世界的蓬勃发展，颠覆 IT 生产力。