类目筛选
2024-05-15
1158
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,158
2024-05-15
951
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
951
2024-05-15
1395
Multi-Agent实践第6期：面向智能体编程：狼人杀在AgentScope
本期文章，我们会介绍一下AgentScope的一个设计哲学（Agent-oriented programming）
1,395
2024-09-27
839
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器，对 Kubernetes 环境下日志采集有着非常好的支持，本文跟随 iLogtail 的脚步，了解容器运行时与 K8s 下日志数据采集原理。
839
2025-04-10
562
AI Infra之模型显存管理分析
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后，发现显存占用一直上升，从未下降的现象，记录了排查过程。
562
2025-08-12
466
「迁移急救包」全云平台无缝迁移云效实操手册
阿里云云效是国内领先的一站式DevOps平台，提供代码全生命周期管理、智能化交付流水线及精细化研发管控，支持多种开发场景。本文详细介绍了从其他平台（如Coding）向云效迁移的完整方案，包括代码仓库、流水线、制品仓库及项目数据的迁移步骤，帮助用户实现高效、安全的平滑迁移，提升研发效率与协作能力。
466