类目筛选
2025-06-30
405
基于 AI 网关和 llmaz，提升 vLLM 推理服务可用性和部署易用性的实践
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
405
2024-05-15
921
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
921
2024-05-15
121882
云效AppStack+阿里云MSE实现应用服务全链路灰度
在应用开发测试验证通过后、进行生产发布前，为了降低新版本发布带来的风险，期望能够先部署到灰度环境，用小部分业务流量进行全链路灰度验证，验证通过后再全量发布生产。本文主要介绍如何通过阿里云MSE 微服务引擎和云效应用交付平台AppStack 实现灰度发布。
121,882
2024-05-15
1127
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,127
2024-05-15
1000
某金融客户核心系统OceanBase数据库性能优化实践
部分金融行业客户的传统核心使用OceanBase替换国外商业数据库的过程中，需要针对业务模型和数据模型进行重构，数据库压测提出了针对单交易耗时和TPS的硬性指标，以下内容是OceanBase数据库调优过程中的一些具体优化实践。
1,000
2024-05-29
55697
ICDE’24｜中国企业首获最佳论文，详解PolarDB Serverless如何在0.5秒内实现跨机迁移
PolarDB Serverless如何在0.5秒内实现跨机迁移？
55,697
