大数据AI七月更新含大模型RAG与Serverless实践-开发者社区-阿里云

十五年深耕，ODPS 正式迈入 AI Native 时代，ODPS 将再次全新升级，推出面向 Data+AI 的新一代数智一体计算平台，融合 Data 和 AI 双引擎。同时，超大规模数据处理能力，支撑 AI 算力爆发、多模态数据存储与计算，打破 AI 数据边界、近实时计算实现极致性价比、AI 赋能数据价值变现四大核心全面升级。未来，阿里云将持续深耕 Data+AI 双引擎，助力企业加速智能化落地，共同迈向数智未来。

数据 + 模型驱动 AI Native 应用发展

随着 AI 技术的不断发展，企业构建 AI Native 应用面临着前所未有的机遇与挑战。从 GenAI 到 Agentic AI 的演进，不仅推动了 AI 开发模式的变革，也为企业提供了更强大的工具和能力。通过合理利用 Chat BI 技术架构、LangStudio 产品架构等先进的技术和工具平台，企业能够更高效地开发和部署 AI Native 应用，实现智能化转型，提升竞争力，在数字化浪潮中脱颖而出。

NL2SQL 再创佳绩！阿里云论文中选 SIGMOD 2025

阿里云计算平台事业部 AI 搜索团队的论文《OpenSearch-SQL: Enhancing Text-to-SQL with Dynamic Few-shot and Consistency Alignment 》被 SIGMOD 2025 收录，论文主要成果为通过自学习的动态 Few-shot 和对齐机制提升 NL2SQL 的表现。核心目标聚焦于提升 Text-to-SQL 任务中单条 query 的查询效果。

【ICML2025】大模型后训练性能4倍提升！阿里云 PAI 团队研究成果 ChunkFlow 中选

ChunkFlow 作为阿里云在变长和超长序列数据集上高效训练解决方案，针对处理变长和超长序列数据的性能问题，提出了以 Chunk 为中心的训练机制，支撑 Qwen 全系列模型的长序列续训练和微调任务，在阿里云内部的大量的业务上带来2倍以上的端到端性能收益，大大降低了训练消耗的 GPU 卡时。

[VLDB 2025]面向 Flink 集群巡检的交叉对比学习异常检测

近日，由阿里云计算平台大数据基础工程技术团队主导，华东师范大学数据科学与工程学院合作的论文《Noise Matters: Cross Contrastive Learning for Flink Anomaly Detection》被数据库领域顶会 VLDB 2025接收。论文从新的视角分析 Flink 平台的热点机器问题。实现了基于神经网络的热点机器异常检测，与 SOTA 异常检测算法相比平均提升 F1 score 12.1%。

[VLDB 2025]面向云计算平台的多模态慢查询根因排序

近日，由阿里云计算平台大数据基础工程技术团队主导，华东师范大学数据科学与工程学院、丹麦奥尔堡大学合作的论文《RCRank: Multimodal Ranking of Root Causes of Slow Queries in Cloud Database Systems》被数据库领域顶会 VLDB 2025接收。论文从更加全面的慢 SQL 可观测的数据视角分析 Hologres 中慢 SQL 的根因，实现了基于神经网络的慢 SQL 根因影响估计和排序，通过与 SOTA 根因分析算法相比平均提升慢查询优化效率14%。

阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品

EMR Serverless Spark 是一款面向 Data+AI 的高性能 Lakehouse 产品。它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理和模型训练的全流程。同时，它100%兼容开源 Spark 生态，能够无缝集成到客户现有的数据平台。使用 EMR Serverless Spark，企业可以更专注于数据处理分析和模型训练调优，提高工作效率。

PAI-TurboX：面向自动驾驶的训练推理加速框架

PAI-TurboX 针对自动驾驶领域的训练与推理难题，提出系统性加速解决方案。通过系统级优化（CPU 亲和性、内存管理等）、数据侧加速（高效 DataLoader、智能样本分组）和模型侧优化（算子融合、设备重映射等），显著提升 BEVFusion、MapTR 等主流模型的训练效率。该方案有效解决了数据预处理瓶颈和 GPU 等待问题，同时支持量化与混合精度计算，为自动驾驶研发提供全流程加速支持。

【新模型速递】PAI-Model Gallery 云上一键部署 Kimi K2 模型

近日，月之暗面正式发布并开源 Kimi K2 模型，Kimi K2 是具备更强代码能力、更擅长通用 Agent 任务的 MoE 架构基础模型，总参数 1T，在代码、Agent、数学推理任务上能力领先。阿里云 PAI-Model Gallery 已同步接入 Kimi K2 模型，提供企业级部署方案，支持开发者和企业用户云上零代码完成1000B超大参数模型的快速、高效部署。PAI-Model Gallery 同样支持 Qwen3 等大模型的训练、推理和评测。

数据开发再提速！DataWorks 正式接入 Qwen3-Coder

阿里云一站式智能大数据开发治理平台 DataWorks 正式接入 Qwen3-Coder 模型。用户通过 DataWorks Copilot 智能助手即可调用该模型，通过自然语言交互完成多种代码操作，实现数据开发、数据分析的快速实现。

Hologres V3.1版本发布，Serverless 型实例从零开始构建 OLAP 系统

Hologres 推出 Serverless 型可从零开始低成本启动 OLAP 系统建设。TPC-H 1TB 性能再提升33%，单表性能超越 CK、Doris 等主流开源产品；Serverless Comuting 支持自动判断；Dynamic Table 升级，支持 Auto Refresh，双流/多表 Join；直读 MaxCompute 架构升级，性能提升33%；联合 DataWorks 发布 ChatBI 解决方案，快速完成数据分析报告；计算组支持 SQL 无损扩缩容，连接闪断；新发布逻辑分区表，灵活易用，减少元数据占用。

三、最佳实践

AI 搜索 MCP 最佳实践

MCP 核心优势：标准化协议：打破工具与模型壁垒，跨平台无缝调用；降低复杂度：解耦工具开发与模型调用，告别硬编码模式；加速 AI 落地：全生命周期服务，快速集成工具链，提升效率。

10倍处理效率提升！阿里云大数据 AI 平台发布智能驾驶数据预处理解决方案

阿里云大数据 AI 平台重磅发布智能驾驶数据预处理解决方案，可帮助汽车行业客户实现构建高效、稳定的数据预处理产线流程，数据包处理效率相比自建可提升10倍以上，数据处理推理任务优化提速1倍以上，相同资源产能提升1倍，从源头提高了自动驾驶模型产出的效率，有效支撑智驾技术落地。

MaxCompute x 聚水潭：基于近实时数仓解决方案构建统一增全量一体化数据链路

MaxCompute 的近实时数仓，基于全新的表格式实现了增全量数据一体化存储和管理，并且推出了丰富的增量计算能力，同时升级了 MaxCompute 短查询加速（MaxQA）以支持查询秒级返回。MaxCompute 近实时数仓设计了多种新的表数据组织格式，既可支持 MaxCompute 普通表的所有功能，同时也能很好的支持增量处理链路的新场景。

OpenSearch 视频 RAG 实践

视频 RAG 本质上是对数据源类型的扩充，从传统的 PDF、Word等文本进一步扩展到视频领域。但在实践过程中，容易遇到文本召回性能下降、长视频处理效率低的问题。OpenSearch LLM 版通过创新的视频解析流程与多模态融合策略，为这些问题提供了可行的解决方案。

如何在 Elasticsearch 中构建你的智能 AI 助手？

本文基于 Elasticsearch 快速构建一个具备自然语言理解能力、异常检测和安全威胁识别能力的智能运维 AI 助手。围绕实际部署流程、关键技术点和典型应用场景展开，结合 AI 搜索开放平台的模型服务，并通过数据可视化工具 Kibana，快速部署和配置 AI 助手，帮助你把 Elasticsearch 从“日志仓库”升级为“智能决策中枢”。

训练效率提升100%！阿里云后训练全栈解决方案发布实录

新发布的大模型后训练解决方案在性能、成本、功能、安全等多维度均有着突出优势：MoE SFT 训练 MFU 超 35%+，强化学习训练效率提升 200%；首 Token 生成响应时间降低 92%，端到端服务吞吐提升 5 倍+；支持百万级任务管理及并发调度，每拉起 10000 CU 资源运行仅需不到 10 秒；

基于模型蒸馏的大模型文案生成最佳实践

针对大语言模型在文案生成中存在的计算资源消耗大、部署难等问题，本文介绍如何借助 EasyDistill 算法框架及 PAI 产品，通过部署教师大语言模型，构建 SFT 训练数据和 DPO 训练数据等模型蒸馏技术实现高效的大模型文案生成，以及通过 SFT 算法蒸馏训练学生模型，进而用 DPO 算法继续优化，以在保持文案生成质量接近原大模型的同时，降低资源需求与成本，提升效率，推动业务可持续增长。

【新模型速递】PAI-Model Gallery 云上一键部署 Qwen3-Coder 模型

Qwen3-Coder 是通义千问最新开源的 AI 编程大模型正式开源，拥有卓越的代码和 Agent 能力，在多领域取得了开源模型的 SOTA 效果。PAI 已支持最强版本 Qwen3-Coder-480B-A35B-Instruct 的云上一键部署。

Post-Training on PAI (2)：Ray on PAI，云上一键提交强化学习

PAI 全新推出任务类型 Ray on PAI，模型训练服务 PAI-DLC 已集成 Ray，用户可将 Ray 框架的训练脚本直接提交至 PAI-DLC 进行训练，免部署免运维。整体训练过程一键提交实现上手 0 成本，还可享受 PAI 平台高效调度、自愈及企业级管理能力。

Post-Training on PAI (3)：PAI-ChatLearn，PAI 自研高性能强化学习框架

PAI-ChatLearn 框架特性：灵活易用的框架：支持用户自定义模型、算法和数据流。极致的计算性能：通过实现 Dynamic Batchsize, Sequence Packing, Sequence Parallel，Partial Rollout 等负载均衡技术，Group GEMM、DeepEP 等 MoE 模型加速的技术，极大提升了 GPU 利用率。实测效果：和其他开源框架相比， PAI-ChatLearn 在性能和规模上有明显优势。

Post-Training on PAI (4)：模型微调 SFT、DPO、GRPO

阿里云人工智能平台 PAI 提供了完整的模型微调产品能力，支持监督微调（SFT）、偏好对齐（DPO）、强化学习微调（GRPO) 等业界常用模型微调训练方式。根据客户需求及代码能力层级，分别提供了 PAI-Model Gallery 一键微调、PAI-DSW Notebook 编程微调、PAI-DLC 容器化任务微调的全套产品功能。

Post-Training on PAI (5): PAI-EasyDistill, PAI 自研大模型蒸馏框架

阿里云人工智能平台 PAI 推出自研大模型蒸馏框架——EasyDistill，具备数据合成、基础和进阶蒸馏训练多种功能模块，在简化大型语言模型的知识蒸馏过程，助力参数量更小但性能卓越的大模型的实际应用。 DistilQwen 模型充分利用知识蒸馏的方法，能够在减少模型参数量的同时保持高性能表现，特别适用于资源受限场景。同时，我们在 EasyDistill 框架的 Recipes 模块中提供了相关蒸馏算法的使用指引。

云上 AI 推理平台全掌握 (3)：服务接入与全球调度

阿里云人工智能平台 PAI 平台推出的全球化的服务接入矩阵，为 LLM 服务量身打造了专业且灵活的服务接入方案，正重新定义 AI 服务的高可用接入标准——从单地域 VPC 安全隔离到跨洲际毫秒级调度，让客户的推理服务在任何网络环境下都能实现「接入即最优」。

云上AI推理平台全掌握 (4)：大模型分发加速

为应对大模型服务突发流量场景，阿里云人工智能平台 PAI 推理服务 PAI-EAS 提供本地目录内存缓存（Memory Cache）的大模型分发加速功能，有效解决大量请求接入情况下的推理延迟。PAI-EAS 大模型分发加速功能，零代码即可轻松完成配置。

云上 AI 推理平台全掌握 (5)：大模型异步推理服务

针对大模型推理服务中“高计算量、长时延”场景下同步推理的弊端，阿里云人工智能平台 PAI 推出了一套基于独立的队列服务异步推理框架，解决了异步推理的负载均衡、实例异常时任务重分配等问题，确保请求不丢失、实例不过载。

【跨国数仓迁移最佳实践1】Append Delta Table 统一存储格式创新

Append DeltaTable 的推出，一方面是对存量表格式已有功能场景的整合，支持了包括 ACID 事务、数据 append，数据流式写入、Timetravel 等能力，让用户能够在同一种表类型内部不受限制对多种能力进行组合，按需对业务场景进行适配。

【跨国数仓迁移最佳实践2】MaxCompute SQL 执行引擎对复杂类型处理全面重构，保障客户从 BigQuery 平滑迁移

MaxCompute SQL 执行引擎对复杂类型处理进行了全面重构，整体支持复杂类型列式的内存存储结构，对各个算子进行深度适配优化，整体处理性能实现质的飞跃，部分场景提升超10倍，基本追平 Bigquery 对复杂类型的计算处理性能，且在某些场景实现性能超越，最终保障了 GoTerra 项目海量作业的平滑迁移，同时大幅节省计算资源。

【跨国数仓迁移最佳实践3】资源消耗减少50%！解析跨国数仓迁移至 MaxCompute 背后的性能优化技术

在 GoTerra 项目从 BigQuery 迁移至 MaxCompute‌ 的过程中，‌针对业务脚本复杂性高、增量功能叠加挑战大、极限交付时间窗口的问题，团队摒弃传统“粗放式”优化策略，转而建立“数据驱动、分层治理”的优化框架，将有限资源投入关键瓶颈点。

超强组合！Dify+Milvus 构建生产级 RAG 系统的终极指南

语言模型常因知识局限而产生“幻觉”。检索增强生成（RAG）技术通过连接外部知识库，有效解决了这一痛点。要实现高效的 RAG，一个强大的向量数据库至关重要。本文将聚焦于业界领先的 Milvus，并借助低代码 AI 平台 Dify，向您展示如何将二者无缝结合，快速搭建一个企业级的 RAG 应用，直观感受向量数据库在解决 AI “最后一公里”问题上的核心价值。

大数据AI产品月刊-2025年7月

一、产品功能发布

二、产品快讯

三、最佳实践

大数据与机器学习

热门文章

最新文章

相关产品

相关课程

相关电子书

相关实验场景