类目筛选
2025-02-20
687
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
687
2025-02-28
1217
进行GPU算力管理
本篇主要简单介绍了在AI时代由‘大参数、大数据、大算力’需求下，对GPU算力管理和分配带来的挑战。以及面对这些挑战，GPU算力需要从单卡算力管理、单机多卡算力管理、多机多卡算力管理等多个方面发展出来的业界通用的技术。
1,217
2025-06-30
445
基于 AI 网关和 llmaz，提升 vLLM 推理服务可用性和部署易用性的实践
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
445
2024-07-25
14088
通义灵码：AI 研发趋势与效果提升实践丨SDCon 全球软件技术大会演讲全文整理
SDCon 全球软件技术大会上，阿里云通义灵码团队分享了关于 AI 辅助编码的最新研究与实践，随着 AIGC 技术的发展，软件研发领域将迎来智能化的新高度，助力 DevOps 流程优化，提升研发效率和研发幸福感。
14,088
2024-08-13
13214
更快更强，SLS 推出高性能 SPL 日志查询模式
从海量的日志数据中，按照各种灵活的条件进行即时查询搜索，是可观测场景下的基本需求。本文介绍了 SLS 新推出的高性能 SPL 日志查询模式，支持 Unix 风格级联管道式语法，以及各种丰富的 SQL 处理函数。同时通过计算下推、向量化计算等优化，使得 SPL 查询可以在数秒内处理亿级数据，并支持 SPL 过滤结果分布图、随机翻页等特性。
13,214