类目筛选
2024-05-15
1120
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,120
2024-05-15
44083
得物 ZooKeeper SLA 也可以 99.99%丨最佳实践
在本文中，作者探讨了ZooKeeper（ZK）的一个内存占用问题，特别是当有大量的Watcher和ZNode时，导致的内存消耗。
44,083
2024-06-13
56100
基于云效 AppStack，5 分钟搞定一个 AI 应用的开发和部署
区别于传统的流水线工具，本实验将带你体验云效应用交付平台 AppStack，从应用视角，完成一个 AI 聊天应用的高效交付。
56,100
2024-08-12
8128
敦煌智旅：Serverless 初探，运维提效 60%
SAE 提供了一个开箱即用的 Serverless PaaS 平台，提供了微服务、监控等能力，帮助敦煌智旅很好地解决了发版困难、运维困难、弹性能力不足和资源利用率低等痛点问题。成功实现轻松应对 10 倍突增流量洪峰，运维效率大幅提升。
8,128
2024-09-02
458
基于 RocketMQ 的云原生 MQTT 消息引擎设计
本文将介绍阿里云如何将 Serverless 架构应用于消息队列，有效降低运营成本，同时利用云原生环境的特性，为 IoT 设备提供快速响应和灵活伸缩的通讯能力。
458
2024-09-11
318
表格存储低成本向量检索服务助力 AI 检索
本文阐述了阿里云表格存储（Tablestore）如何通过其向量检索服务应对大规模数据检索的需求，尤其是在成本、规模和召回率这三个关键挑战方面。
318