大数据&AI产品技术月刊【2024年6月】，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据&AI方面最新动态。
一、产品功能发布
【人工智能平台 PAI】新功能/规格 - DSW 支持配置实例 RAM 角色
提供 PAI 默认角色，提升易用性，并允许用户自定义实例 RAM 角色。
【人工智能平台 PAI】新功能/规格 - EAS 服务实例健康检查功能发布
EAS 健康检查帮助维护服务的高可用性，进行快速故障检测和自动恢复。
【人工智能平台 PAI】新功能/规格 - EAS GPU 共享功能上线
模型部署支持根据 GPU 算力占比与显存大小进行切分使用，提升资源利用率。
【人工智能平台 PAI】新功能/规格 - Designer 新增 Notebook 组件
通过 Notebook 组件，用户可使用 DSW 实例编写调试自定义代码。
【人工智能平台 PAI】新功能/规格 - QuickStart 支持模型评测，评估 LLM 的综合性能
零代码完成端到端的模型评测链路，方便用户找到适合自身业务场景的大模型。
【人工智能平台 PAI】新功能/规格 - 快速开始中 LLM 支持 QLoRA / LoRA / 全参微调方式
方便用户选择更低成本的方式来微调自己业务的大模型。
【人工智能平台 PAI】新地域/新可用区 - Designer 在华北6（乌兰察布）正式开服
PAI-Designer 在华北6（乌兰察布）正式开服，可以在 PAI 控制台上按需求使用。
【人工智能平台 PAI】功能优化 - AI 资源配额( Quota ) v2.0 发布
Quota 全面升级为概览、任务、节点、用户、监控 和 拓扑5个板块。
【人工智能平台 PAI】功能优化 - PAI 通用计算资源支持使用智算 CPFS
针对大模型客户数据场景，提供数据存储和计算成本最优方案，PAI 联合存储团队，最终实现 PAI 训练服务支持 on 通用计算（ECI）支持挂载（Mount） 智算 CPFS。
【人工智能平台 PAI】功能优化 - Tensorboard 支持训练对比观测，取消个数限制
训练过程、结果实时可对比、可观测，Tensorboard 取消个数限制。
【人工智能平台 PAI】功能优化 - AIMaster-C4D 实现网络通信保障节点健康的能力
AIMaster 接入 C4D，通过网络通信探查，实现问题节点的识别和探查。
【人工智能平台 PAI】功能优化 - 父子资源配额（Quota）上线
父子资源配额皆可提交训练任务，实现树形结构的混合调度和管理。
【实时数仓 Hologres】新功能/规格 - Hologres 新增加20+监控指标，提升观测性
升级观测性基础架构，提供20+运行指标与监控报警。
【实时数仓 Hologres】新功能/规格 - 实例内 Query 和表的诊断
进一步帮助业务提升精细化管理和运维实例内的 Query、表，提升实例的稳定性。
【实时数仓 Hologres】新功能/规格 - Hologres 支持复杂流量场景分析函数
在复杂流量场景，支持漏斗、留存、路径等函数对流量情况精细化分析。
【大数据开发治理平台 DataWorks】新功能/规格 - 数据开发支持数据推送节点
可通过消息卡片的形式将数据结果定时推送至钉钉群或飞书群。
【大数据开发治理平台 DataWorks】新功能/规格 - 数据治理中心支持治理管理员角色
租户可通过添加治理管理员和工作空间治理管理员角色实现精细化的控制数据管理。
【大数据开发治理平台 DataWorks】新功能/规格 - 数据集成可单表读取Azure Blob Storage
可通过单表离线同步读取 Azure Blob Storage 数据源获取文件。
【开源大数据平台 E-MapReduce】新功能/规格 - Serverless Spark 提交 PySpark 任务
展现 EMR 在流处理方面的易用性和可运维性。
【开源大数据平台 E-MapReduce】新功能/规格 - 支持创建 Master-Extend 节点组
支持在该节点组上自定义部署 Spark/Hive/Kyuubi 服务的组件，并能将配置自动同步。
【开源大数据平台 E-MapReduce】新功能/规格 - Serverless Spark 使用 Python 三方库
利用 Conda 和 PEX 这两种方法，有效地将这些库集成到 Serverless Spark 环境中，确保作业在分布式计算场景下的稳定性和灵活性。
【开源大数据平台 E-MapReduce】新功能/规格 - StarRocks 支持弹性伸缩
允许您自定义伸缩规则，可自动的调整节点数量，高效地适应业务变化。
【开源大数据平台 E-MapReduce】新功能/规格 - StarRocks 慢 SQL 支持诊断建议
Serverless StarRocks 基于可视化的 Query Profile 提供了诊断建议功能，您可以在查看 Query Profile 的同时，根据 Query Profile 诊断建议分析 SQL 性能问题、优化 SQL 性能。
【智能开放搜索 OpenSearch】新功能/规格 - LLM 智能问答版发布模型评测、效果对比能力
OpenSearch 智能问答版切片策略升级，大幅提升结果准确率与召回率。
二、产品活动
实时数仓 Hologres V2.2发布，Serverless Computing 降本20%
- 新发布 Serverless Computing，提升大任务稳定性，同时可降低20%计算成本
- 引擎性能优化，TPC-H 1TB 测试相对 V1.X 提升100%
- 实时湖仓加速架构升级，支持 Paimon，直读 ORC、Parquet 数据性能提升5倍以上
- 新增实例监控指标，可观测性全面提升，新增 SQL 指纹、Query 洞察、SQL 与表索引诊断等
- 流量分析场景新增路径函数，支持跨可用区容灾、OpenAPI 能力升级
使用人工智能平台 PAI ArtLab 一键实现欧洲杯粉丝专属贴纸制作
通过 PAI Artlab 启动 ComfyUI，配合 PAI Artlab 预置的模型、内置的贴纸生成工作流及 LoRA 模型，一键制作专属的欧洲杯球迷贴纸。
三、产品快讯
DataWorks 重磅推出全新资源组2.0，实现低成本灵活付费和动态平滑扩缩容
为了加强 DataWorks 功能间的资源管理和统一用户体验，DataWorks 推出新版资源组 - Serverless 通用型资源组，涵盖了原独享调度资源组、独享数据集成资源组、独享数据服务资源组的核心功能，通过一个资源组即可完成数据同步、任务调度运行、调用及管理 API 服务等操作。
【CVPR2024】阿里云人工智能平台 PAI 图像编辑算法论文入选 CVPR2024
阿里云人工智能平台 PAI 发表的图像编辑算法论文在 CVPR-2024 上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。此次入选标志着阿里云人工智能平台 PAI 自主研发的图像编辑算法达到了先进水平，赢得了国际学术界的认可。在阿里云人工智能平台 PAI 算法团队和华南理工大学的老师学生们一同的坚持和热情下，将阿里云在图像生成与编辑领域的先进理念得以通过学术论文和会议的形式，向业界传递和展现。
DataWorks Copilot：大模型时代数据开发的新范式
阿里云 DataWorks 是一站式数据开发治理平台，支持多种大数据引擎，助力企业构建数据仓库、湖仓一体架构。DataWorks 现推出 Copilot，致力于打造智能 SQL 助手和 AI Agent，通过生成 SQL、优化S QL、提供查询帮助、注释生成、错误修正等功能，帮助数据开发工程师和数据分析师提升SQL 开发和分析的效率和体验。目前，DataWorks Copilot 正开放邀测，欢迎大家体验。
EMR Serverless Spark：结合实时计算 Flink 基于 Paimon 实现流批一体
Apache Paimon 是一种流批统一的数据湖存储格式，结合 Flink 及 Spark 构建流批处理的实时湖仓一体架构。Paimon 创新地将湖格式与 LSM 技术结合起来，给数据湖带来了实时流更新以及完整的流处理能力。通过 Flink Datagen 模拟上游数据源，通过实时计算Flink版完成数据的实时摄取，以 Paimon 湖格式存储；然后通过 Serverless Spark 完成数据的分析。同时依赖 Serverless Spark 的调度能力，配置离线的 Compact 作业完成对 Paimon 表的湖表管理。
森马基于MaxCompute+Hologres+DataWorks构建数据中台
森马集团面对多年自建的多套数仓产品体系，通过阿里云 MaxCompute+Hologres+DataWorks 统一数仓平台，保障数据生产稳定性与数据质量，减少 ETL 链路及计算时间，每年数仓整体费用从300多万降到180万。
四、产品学习指南
【最佳实践】通义千问2( Qwen2 )大语言模型在 PAI-QuickStart 的微调、评测与部署实践
Qwen2（通义千问2）是阿里云最近推出的开源大型语言模型系列，相比2月推出的 Qwen1.5，Qwen2 实现了整体性能的代际飞跃，大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。其中，Qwen2 系列包含5个尺寸的预训练和指令微调模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B，其中，Qwen2-57B-A14B 为混合专家模型（MoE）。Qwen2 所有尺寸模型都使用了 GQA（分组查询注意力）机制，以便让用户体验到 GQA 带来的推理加速和显存占用降低的优势。
阿里云的人工智能平台 PAI，作为一站式的机器学习和深度学习平台，对 Qwen2 模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过 PAI-QuickStart 轻松实现 Qwen2 系列模型的微调、评测和快速部署。
在大模型时代，模型评测是衡量性能、精选和优化模型的关键环节，对加快 AI 创新和实践至关重要。PAI 大模型评测平台支持多样化的评测场景，如不同基础模型、微调版本和量化版本的对比分析。本文为您介绍针对于不同用户群体及对应数据集类型，如何实现更全面准确且具有针对性的模型评测，从而在 AI 领域可以更好地取得成就。
【最佳实践】基于 EasyAnimate 模型的视频生成最佳实践
EasyAnimate 是阿里云 PAI 平台自主研发的 DiT 的视频生成框架，它提供了完整的高清长视频生成解决方案，包括视频数据预处理、VAE 训练、DiT 训练、模型推理和模型评测等。本文为您介绍如何在 PAI 平台集成 EasyAnimate 并一键完成模型推理、微调及部署的实践流程。
【最佳实践】基于阿里云 EMR Serverless Spark 快速搭建 OSS 日志分析应用
阿里云 EMR Serverless Spark 版是一款全托管、一站式的数据处理平台，基于 Spark Native Engine 构建，专为大规模数据处理和分析设计，提供弹性、高效的服务，让用户无需关注基础设施管理，100%兼容 Spark，简化从开发到运维的全链路工作流程。本实践将以 OSS 日志处理场景为例，演示使用 EMR Serverless Spark 产品快速搭建日志分析应用。
OpenSearch LLM 智能问答版内置非结构化数据处理、向量模型、文本&向量检索、LLM，提供一站式开箱即用的检索增强生成（RAG）方案，支持丰富数据格式的快速导入，构建包含对话、链接、图片在内的多模态对话式搜索服务，帮助开发者快速搭建 RAG 系统。
OpenSearch 向量检索版是一个端到端的向量检索产品方案，内置了向量化的数据处理模型，可以直接把原始的图片推送进来，由产品自动来完成向量化的步骤，相较于传统模式省去了数据向量处理环节，因此向量检索版可以更加方便的帮助实现以图搜图、以文搜图等多种图像检索。本实践详细介绍在没有向量数据的情况下，怎样通过OpenSearch 向量检索版快速从零搭建图像搜索服务。
