丰富的线上&线下活动，深入探索云世界
做任务，得社区积分和周边
资深技术专家手把手带教
技术交流，直击现场
让创作激发创新
海量开发者使用工具、手册，免费下载
极速、全面、稳定、安全的开源镜像
开发手册、白皮书、案例集等实战精华
热门
暂无个人介绍
暂时未有相关通用技术能力~
暂时未有相关云产品技术能力~
阿里云技能认证
引言随着语言大模型的兴起，蚂蚁内部也出现了很多服务于大模型相关的场景。作为蚂蚁模型推理的重要技术底盘，Ant Ray Serving 是和 Ray 社区的 Ray Serve 合作并在此基础上做了大量扩展的AI服务框架，例如 LDC、高可用、Java/C++ 支持、负载均衡优化和流式通信等处理。接下来会有一系列文章介绍 LLM 与 Ray Serve 相结合的应用场景。在这篇文章中，我们将介绍 L
