类目筛选
2024-05-15
1131
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,131
2024-05-15
164486
设计与构建 FinOps 流程、团队、体系与目标
企业 FinOps 实施不是一蹴而就的项目，如果您正在推进企业云原生 FinOps 落地，除了选择合适的技术手段，企业内部的流程和体系建设也尤为重要。
164,486
2024-05-16
88527
通义千问 2.5 “客串” ChatGPT4，看这篇让你分清楚
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
88,527
2024-06-12
60872
突破大表瓶颈｜小鹏汽车使用PolarDB实现百亿级表高频更新和实时分析
PolarDB已经成为小鹏汽车应对TB级别大表标注、分析查询的"利器"。
60,872
2024-10-18
966
海量大模型如何一键部署上云，函数计算 x ModelScope 社区给出答案
得益于阿里云函数计算的产品能力，魔搭 SwingDeploy 后的模型推理 API 服务默认具备极致弹性伸缩（缩零能力）、GPU 虚拟化（最小 1GB 显存粒度）、异步调用能力、按用付费、闲置计费等能力，这些能力帮助算法工程师大大加快了魔搭开源模型投入生产的生命周期。
966
2024-11-01
965
Serverless GPU：助力 AI 推理加速
近年来，AI 技术发展迅猛，企业纷纷寻求将 AI 能力转化为商业价值，然而，在部署 AI 模型推理服务时，却遭遇成本高昂、弹性不足及运维复杂等挑战。本文将探讨云原生 Serverless GPU 如何从根本上解决这些问题，以实现 AI 技术的高效落地。
965