vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
“从一次常见的发布说起，在云上某个系统应用发布时，重启阶段会导致较大数量的 OpenAPI、上游业务的请求响应时间明显增加甚至超时失败。随着业务的发展，用户数和调用数越来越多，该系统又一直保持一周发布二次的高效迭代频率，发布期间对业务的影响越来越无法接受，微服务下线的治理也就越来越紧迫。”
本文介绍了OLAP分析在大数据分析中的位置，分析并介绍目前大数据OLAP遇到的分析性能、资源隔离、高可用、弹性扩缩容等核心问题，解析阿里云Hologres是如何解决极致性能、弹性、业务永续、性价比等核心刚需的最佳实践，介绍阿里云Hologres弹性计算组在弹性计算、资源隔离上的探索和创新。
如何充分发挥 SQL 能力，是本篇文章的主题。本文尝试独辟蹊径，强调通过灵活的、发散性的数据处理思维，就可以用最基础的语法，解决复杂的数据场景。
本文将演示 Higress 如何无缝对接 OKG 游戏服，并为其带来的优秀特性。
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
本文将从概念和宏观角度理解什么是流处理。 RocketMQ 5.0，学习 RocketMQ 提供的轻量流处理引擎 RStreams，了解其特性和原理。学习 RocketMQ 的流数据库 RSQLDB，通过流存储和流计算的深度结合，看它如何进一步降低流处理使用门槛。
本文介绍了 Kubernetes 中的容器工作内存（WorkingSet）概念，它用于表示容器内存的实时使用量，尤其是活跃内存。
