vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
基于 Stable Diffusion Serverless API 解决方案搭建 AI 文字生成应用，支持并发出图。
在今天这样以AIGC为代表的AI时代下，了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告，来看看AIGC对于存储有哪些具体的性能要求。
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台，旨在帮助企业构建高效、可靠、安全的数据资产。在V4.1版本升级中，Dataphin 引入了Lindorm等多项新功能，并开启公共云半托管模式，优化代码搜索，为用户提供更加高效、灵活、安全的数据管理和运营环境，提升用户体验，促进企业数据资产的建设和价值挖掘。
在系统开发、运维过程中，日志是最重要的信息之一，其最大的优点是简单直接。SLS 数据加工功能旨在解决非结构化的日志数据处理，当前全面升级，集成 SPL 语言、更强的数据处理性能、更优的使用成本。
