享道出行利用阿里云容器服务ACK，结合AHPA智能弹性与ECS、ECI混合部署，解决了业务潮汐效应带来的弹性滞后和成本问题。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
本次方案主要是针对阿里云国际站客户，企业在实际使用阿里云的过程中如何做好运维检测的一些多产品结合的方案介绍。 本篇文章的重点会放在检测（Detection）部分，会具体介绍涉及使用产品配置，FAQ等等，同时对整体的理论框架进行简单的介绍，帮助大家更好理解本部分在运维工作中的分属情况，更好的建立整体性的概念。
金融行业和运营商系统，业务除了在线联机查询外，同时有离线跑批处理，跑批场景比较注重吞吐量，同时基于数据库场景有一定的使用惯性，比如直连MySQL分库分表的存储节点做本地化跑批、以及基于Oracle/DB2等数据库做ETL的数据清洗跑批等。
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
