类目筛选
2024-05-15
982
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
982
2024-05-15
1187
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,187
2024-10-10
900
Android & iOS 使用 ARMS 用户体验监控（RUM）的最佳实践
本文主要介绍了 ARMS 用户体验监控的基本功能特性，并介绍了在几种常见场景下的最佳实践。
900
2025-02-20
687
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
687
2025-02-28
1217
进行GPU算力管理
本篇主要简单介绍了在AI时代由‘大参数、大数据、大算力’需求下，对GPU算力管理和分配带来的挑战。以及面对这些挑战，GPU算力需要从单卡算力管理、单机多卡算力管理、多机多卡算力管理等多个方面发展出来的业界通用的技术。
1,217
2024-05-15
1073
安全防御四部曲-防护实践方案（多产品结合）
本篇内容为防护（Protection），检测（Detection），恢复（Recovery），响应（Response）实践方案四部曲之一，主要介绍如何结合多产品使用在阿里云国际站做好防护（Protection）部分的安全。
1,073
