vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
本文介绍了 Kubernetes 中的容器工作内存（WorkingSet）概念，它用于表示容器内存的实时使用量，尤其是活跃内存。
好的单元测试不仅可以验证代码结构设计的是否合理，而且可以提前发现代码中的漏洞，将线上风险扼杀在摇篮中。本文从常用的单元测试框架出发，对Mockito框架深入浅出的讲解，希望能帮到每一位同学。
资源编排服务（Resource Orchestration Service， 简称ROS）是阿里云提供的一项简化云计算资源管理的服务。您可以遵循ROS定义的模板规范编写资源栈模板，在模板中定义所需的云计算资源（例如ECS实例、RDS数据库实例）、资源间的依赖关系等。
本文将介绍MaxCompute在半结构化数据方面的一些思考与创新，围绕半结构化数据简析、传统方案优劣对比、MaxCompute半结构化数据解决方案、收益分析。
本文介绍了如何使用阿里云ROS资源编排服务快速部署和管理云资源。主要内容包括：1. 工具准备：安装ROSCDK,选择合适的代码编辑器和IDE,安装AI代码生成插件等。2. 环境准备：创建工程目录，进入虚拟环境，配置阿里云凭证信息，配置ROSCDK。3. 代码编写：根据文档描述，编写ROS代码来创建VPC、VSwitch、ECS等资源。4. 运行代码：执行ROS代码，创建ECS实例并部署FTP服务。总体来说，本文通过简单的步骤，让小白也能快速上手使用ROS资源编排服务，实现自动化部署和管理阿里云资源。
基于PAI-DSW快速启动Stable Diffusion WebUI，创作你的专属冬日主题AI画作！
性能优化是降低成本的手段之一，每年大促前业务平台都会组织核心链路上的应用做性能优化，一方面提升系统性能，另外一方面对腐化的代码进行清理。本文结合业务平台性能优化的经验，探讨一下性能优化的思路及常用工具及手段。
