vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
本次文根据峰会演讲内容整理：分享在大模型时代基于湖仓一体的数据产品演进，以及我们观察到的一些智能开发相关的新范式。
通过使用阿里云百炼平台，您可以快速构建一个多代理（Multi-Agent）架构的智能导购助手。该助手能够通过多轮互动了解顾客的具体需求，收集详细信息后，利用阿里云百炼的知识检索增强功能或已有的商品数据库进行商品搜索，为顾客推荐最合适的产品。
通义灵码Project Rules是一种针对AI代码生成的个性化规则设定工具，旨在解决AI生成代码不精准或不符合开发者需求的问题。通过定义编码规则（如遵循SOLID原则、OWASP安全规范等），用户可引导模型生成更符合项目风格和偏好的代码。例如，在使用阿里云百炼服务平台的curl调用时，通义灵码可根据预设规则生成Java代码，显著提升代码采纳率至95%以上。此外，还支持技术栈、应用逻辑设计、核心代码规范等多方面规则定制，优化生成代码的质量与安全性。
本文将介绍PolarDB-X对于向量化SIMD指令的探索和实践，包括基本用法及实现原理，以及在具体算子实现中的思考和沉淀。
MCP Specification 在 2025-03-26 发布了最新的版本，本文对主要的改动进行详细介绍和解释
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。