类目筛选
AI时代数据湖实践
本文分享了如何利用阿里云的存储解决方案构建一个具备高效处理、高时效性的AI数据湖，通过高吞吐训练和高效推理帮助企业快速实现数据价值，以及用户在使用中的最佳实践。
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
在IDEA中借助满血版 DeepSeek 提高编码效率
通义灵码2.0引入了DeepSeek V3与R1模型，新增Qwen2.5-Max和QWQ模型，支持个性化服务切换。阿里云发布开源推理模型QwQ-32B，在数学、代码及通用能力上表现卓越，性能媲美DeepSeek-R1，且部署成本低。AI程序员功能涵盖表结构设计、前后端代码生成、单元测试与错误排查，大幅提升开发效率。跨语言编程示例中，成功集成DeepSeek-R1生成公告内容。相比1.0版本，2.0支持多款模型，丰富上下文类型，具备多文件修改能力。总结显示，AI程序员生成代码准确度高，但需参考现有工程风格以确保一致性，错误排查功能强大，适合明确问题描述场景。相关链接提供下载与原文参考。
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
LISA微调技术解析：比LoRA更低的显存更快的速度
LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。