大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
检索增强生成（RAG）结合检索与生成技术，利用外部知识库提升大模型的回答准确性与丰富性。RAG的关键组件包括文本表示模型和排序模型，前者计算文本向量表示，后者进行精细排序。阿里巴巴通义实验室推出的GTE-Multilingual系列模型，具备高性能、长文档支持、多语言处理及弹性向量表示等特性，显著提升了RAG系统的检索与排序效果。该系列模型已在多个数据集上展示出优越性能，并支持多语言和长文本处理，适用于各种复杂应用场景。
阿里云存储产品高级解决方案架构师欧阳雁（乐忱）分享了中国企业在全闪存高端存储市场的快速增长，指出AI大模型的发展推动了企业级存储市场。去年，高端企业级存储闪存占比约为25%，相较于欧美50%的比例，显示出中国在AI领域的巨大增长潜力。演讲涵盖AI业务流程，包括数据预处理、训练和推理的痛点，以及针对这些环节的存储解决方案，强调了稳定、高性能和生命周期管理的重要性。此外，还介绍了数据预处理的全球加速和弹性临时盘技术，训练阶段的高性能存储架构，推理场景的加速器和AI Agent的应用，以及应对大数据业务的存储考量，如对象存储、闪电立方和冷归档存储产品。
通过使用“百炼”平台，您可以快速构建一个多代理（Multi-Agent）架构的智能导购助手。该助手能够通过多轮互动了解顾客的具体需求，收集详细信息后，利用“百炼”的知识检索增强功能或已有的商品数据库进行商品搜索，为顾客推荐最合适的产品。
本文分享了AI场景下面临的数据处理与检索挑战及解决方案。AI内容生产涉及数据准备、模型训练、推理及应用四大环节，其中数据准备环节面临数据来源复杂、格式多样及数据量激增的挑战，模型训练环节需解决推理准确性问题，AI应用环节则需克服接口兼容性难题。 为应对这些挑战，阿里云存储OSS与智能媒体管理IMM提供百余种数据处理能力，并升级数据索引功能支持向量检索，助力构建多模态检索应用。此外，还介绍了Serverless数据处理方案，可日均处理百亿级别文件，通过OSS数据索引能力，客户能快速构建RAG检索增强，同时实现多模态检索的搭建，显著提升AI应用的效能和用户体验。
从花果山的灵石出世，到取经路上的九九八十一难，再到大闹天宫的惊心动魄……这些耳熟能详的西游场景，如今都能通过 Flux 模型，以超乎想象的细节和真实感呈现在你眼前。本次实验在函数计算中内置的 flux.1-dev-fp8 大模型，搭配 Lora 模型，无需复杂的配置，一键部署，你就能成为这场视觉盛宴的创造者。
通义灵码，是阿里云与通义实验室联合出品的一款基于通义大模型的智能编码辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云的云服务使用场景调优，助力开发者高效、流畅的编码。目前个人版免费使用。
