大数据& AI 产品技术月刊【2024年11月】，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据& AI 方面最新动态。
一、产品功能发布
【人工智能平台 PAI】新功能/规格 - DSW 支持 OSS 数据集动态挂载
动态挂载支持开发者在开发过程中随时加载新的 OSS 数据集而无需重启实例，大幅提升开发者的开发体验。
【人工智能平台 PAI】新功能/规格 - DSW 实例支持自定义服务访问配置能力
开发者在使用 DSW 实例开发过程中，可通过简单配置将自定义服务对外暴露，提升开发者协作体验。
【云原生大数据计算服务 MaxCompute】新功能/规格 - MaxFrame 支持自动化打包服务
MaxFrame 支持在作业开发时声明所需的外部依赖包，简化了 Python 开发中第三方包的管理操作。
【云原生大数据计算服务 MaxCompute】新功能/规格 - 作业智能诊断功能发布
MaxCompute 推出作业智能诊断功能，帮助客户及时发现作业报错及性能问题并自主分析与解决。
【云原生大数据计算服务 MaxCompute】功能优化 - 物化视图推荐与管理功能优化升级
功能新增预估影响面和实际收益指标，辅助您决策是否采用推荐建议及管理现有物化视图。
【云原生大数据计算服务 MaxCompute】新功能/规格 - V49版本 SQL 引擎能力增强
全新支持 Bitmap 索引和 Bloomfilter 索引，新增 JSON_EXPLODE 内置函数，并支持 SQL 多行注释、SUBQUERY_MAPJOIN HINT 等多种语法升级；新增并 Split 参数以调整表级别的任务并行度。
【云原生大数据计算服务 MaxCompute】新功能/规格 - 湖仓一体能力增强
湖仓场景能力升级：支持 Parquet 外部表写入使用 ZSTD 压缩等。
【实时数仓 Hologres】新地域/新可用区 - 新增开通中国（香港）地域的可用区 D
Hologres 服务新增开通中国（香港）地域的可用区 D，用户可按需开通实例，按需在香港地域使用跨可用区容灾功能。
【大数据开发治理平台 DataWorks】新功能/规格 - 数据质量新增枚举值校验类型质量监控模板
可直接使用模板快速监控不匹配的异常数据，提高数据质量监控效率。
【大数据开发治理平台 DataWorks】新功能/规格 - 数据访问控制审批后，支持查看授权结果和异常原因
方便快速了解审批结果和具体原因。
【大数据开发治理平台 DataWorks】新功能/规格 - 数据资产治理支持通过资产标签快速自定义治理计划
支持通过治理标签查看及筛选现有问题资产明细，并可快速导入生成自定义治理计划进行处理。
【大数据开发治理平台 DataWorks】新功能/规格 - 数据地图支持搜索 StarRocks External Catalog 元数据
可利用数据地图的搜索功能，搜索和查看 StarRocks External Catalog 所关联的表、字段等元数据信息。
【大数据开发治理平台 DataWorks】新功能/规格 - 新版数据开发支持 Notebook
Notebook 是一种交互式开发环境，允许用户通过整合代码（如 SQL 和 Python 等）、文本、代码执行结果和数据可视化图表来进行直观的数据探索、分析和AI模型开发。
【大数据开发治理平台 DataWorks】新功能/规格 - 支持 EMR Serverless Spark 集群
基于全托管集群模式，提供 Spark 任务开发与编排、调度运维、数据分析、数据集成、数据分析、数据治理等一站式大数据开发治理平台。
【实时计算 Flink 版】新功能/规格 - 支持 SelectDB 连接器
实时计算 Flink 版支持使用 SelectDB 连接器写入数据至云数据库 SelectDB 版。
【实时计算 Flink 版】新功能/规格 - 实时计算 Flink 支持混合计费模式
混合计费模式支持在包年包月模式的基础上配置弹性资源，为结合了按量兼顾灵活性与成本效益的计费模式。
【开源大数据平台 E-MapReduce】新功能/规格 - Serverless Spark 会话与 Gateway
Spark Thrift Server 支持开启 Ldap 认证，以及 Ranger 鉴权。
【开源大数据平台 E-MapReduce】新功能/规格 - StarRocks 存算分离3.3版本正式发布
EMR Serverless StarRocks 存算分离3.3版本正式发布，支持社区3.3版本及多计算组功能。
【开源大数据平台 E-MapReduce】新功能/规格 - 支持按量节点组升配
EMR on ECS 按量节点组支持配置升级，及时应对节点组由于业务原因负载过高，当节点组内 ECS 实例的规格（vCPU 和内存）无法满足您的业务需求时，您可以使用配置升级功能提升 ECS 实例规格。
【开源大数据平台 E-MapReduce】新功能/规格 - 支持系统盘加密
EMR on ECS 在创建集群时，支持对系统盘绑定 KMS 密钥加密。
【开源大数据平台 E-MapReduce】新功能/规格 - 按量节点组支持配置弹性保障
EMR on ECS 可以提前在 ECS 购买资源预定，在创建按量付费节点组，关联指定私有池，保障弹性资源供应稳定性。
【向量检索服务 Milvus 版】新地域/新可用区 - 新增开通华东1（杭州）可用区 I 、华东2（上海）可用区 F、华北2（北京） 可用区 F、华南1（深圳） 可用区 F
新增开通华东1（杭州）可用区 I 、华东2（上海）可用区 F、华北2（北京） 可用区 F、华南1（深圳） 可用区 F，用户可按需在控制台开通集群。
二、最新活动
Flink Forward Asia 2024 上海站｜探索实时计算新边界
FFA 大会于 11 月 29 至 30 日在上海隆重举行，适逢 Apache Flink 诞生 10 周年，本次主论坛的主题为“Apache Flink：回顾过去，展望未来”，与开发者们分享 Flink 过去十年在技术和生态方面的演进历程及关键成果。同时，基于当前 AI 时代的新场景，展望未来十年 Flink 的发展方向和规划。大会围绕了八大核心议题，呈现近百场专业演讲，深入探讨流式湖仓、流批一体、Data+AI 融合、数据集成以及云原生等前沿技术的发展趋势。
阿里云& Elastic：AI Search Tech Day
11月22日阿里云与 Elastic 联合打造“AI Search Tech Day”技术思享会在上海召开，特邀阿里云 AI 搜索团队专家和 Elastic 架构师与开发者们面对面交流，分享了阿里云 AI 搜索方案解读和 AI 搜索前沿技术与应用案例。
Apache Spark & Paimon Meetup · 北京站
11月15日北京阿里中心，阿里云 EMR 技术团队联合 Apache Paimon 社区，举办" Apache Spark & Paimon, 助力 LakeHouse 架构生产落地" 线下 Meetup，阿里集团、阿里云、VIVO等众多业内大咖深入探讨 LakeHouse 架构核心技术和实践案例，以及 Apache Spark 与 Paimon 的深度整合实践，为大数据从业者提供了开放的分享与交流平台。
使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型，搭建文旅领域知识问答机器人
基于新一代多模态大模型 Qwen2-VL，使用 人工智能平台 PAI+LLaMA Factory 开源框架完成文旅领域大模型的构建，搭建专属文旅问答机器人，AI 导游懂你更懂规划！
DataWorks 限时优惠！数据治理中心全新升级为数据资产治理
新购或升级到标准版/专业版，可以自动免费体验企业版独有的数据资产治理功能1个月；
新购企业版或低版本即将到期升级到企业版，可以申请享受首月299元的优惠，申请入口；
三、产品快讯
国内首家！ 阿里云人工智能平台 PAI 通过 ITU 国际标准测评
阿里云人工智能平台 PAI 顺利通过中国信通院组织的 ITU-T AICP-GA（Technical Specification for Artificial Intelligence Cloud Platform：General Architecture）国际标准和《智算工程平台能力要求》国内标准一致性测评，成为国内首家通过该标准的企业。阿里云人工智能平台 PAI 参与完成了智算安全、AI 能力中心、数据工程、模型开发训练、模型推理部署等全部八个能力域，共计220余个用例的测试，并100%通过测试要求，获得了 ITU 国际标准和国内可信云标准评估通过双证书。
【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024
阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议，聚焦于自然语言处理技术在各个应用场景的学术研究，尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新，在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。
阿里重磅开源 Fluss: Flink Unified Streaming Storage
在11月29日举办的 Flink Forward Asia 2024 大会主题演讲上，阿里巴巴正式开源 Fluss 项目。Fluss 项目是由阿里云智能 Flink 团队研发的一款面向流分析的下一代流存储，旨在解决流存储在分析方面长期存在的挑战。Fluss 的项目定位是为 Apache Flink 提供实时流存储底座，进一步提升 Flink 实时流计算的能力。Fluss 创新性地将列存格式和实时更新能力融合进了流存储中，并与 Flink 深度集成，帮助用户构建高吞吐量、低延迟、低成本的流式数仓。
阿里云受邀加入 Elastic AI Ecosystem 联盟，助力企业加速 GenAI 应用程序开发
Elastic 宣布推出 AI Ecosystem 联盟，旨在加速开发和部署 RAG 应用程序。该联盟集成了阿里云、Hugging Face、LangChain、NVIDIA、OpenAI 等领先技术平台和工具，提供全面的 AI 工具和技术，与 Elasticsearch 向量数据库无缝集成，以加快应用上市时间和提升投资回报率。阿里云作为中国唯一受邀加入的厂商，与 Elastic 深入合作，为全球用户提供强大的 AI 搜索开发平台，满足混合搜索、语义重排序和 RAG 等业务需求。阿里云 AI 搜索开放平台提供多模态数据解析、文档切分、文本向量等组件化服务，支持智能搜索、RAG、多模态搜索等场景的搭建。
在数据驱动的商业环境中，企业面临着日益复杂的数据管理与分析挑战。阿里云 Elasticsearch 服务不仅免费提供了 Elastic 原厂的 Enterprise 版本功能，更凭借其增强的数据管理能力、智能 AI 分析、先进的搜索技术以及全面的安全特性，致力于为企业提供一站式解决方案。
四、最佳实践
DistilQwen2 是基于 Qwen2 大模型，通过知识蒸馏进行指令遵循效果增强的、参数较小的语言模型。人工智能平台 PAI，作为一站式、 AI Native 的大模型与 AIGC 工程平台，对 DistilQwen2 模型系列提供了全面的技术支持。本文将介绍 DistilQwen2 的技术原理、效果评测，以及 DistilQwen2 在阿里云人工智能平台 PAI 上的使用方法，和在各开源社区的下载使用教程。
DistilQwen2 蒸馏小模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
DistilQwen2 是基于 Qwen2大模型，通过知识蒸馏进行指令遵循效果增强的、参数较小的语言模型。人工智能平台 PAI，作为一站式、 AI Native 的大模型与 AIGC 工程平台，对 DistilQwen2 模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过 PAI-QuickStart 轻松实现 DistilQwen2 系列模型的训练、评测、压缩和快速部署。本文详细介绍在 PAI 平台使用 DistilQwen2 蒸馏小模型的全链路最佳实践。
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
Qwen2.5-Coder 是阿里云最新推出的专门针对代码的 Qwen 大型语言模型系列。人工智能平台 PAI，作为一站式、 AI Native 的大模型与 AIGC 工程平台，为开发者和企业客户提供了 Qwen2.5-Coder 系列模型的全链路最佳实践。本文以 Qwen2.5-Coder-32B 为例，详细介绍在 PAI-QuickStart 完成 Qwen2.5-Coder 的训练、评测和快速部署。
DataWorks：新一代 Data+AI 数据开发与数据治理平台演进
本文介绍了阿里云 DataWorks 在 DA 数智大会 2024 上的最新进展，包括新一代智能数据开发平台 DataWorks Data Studio、全新升级的 DataWorks Copilot 智能助手、数据资产治理、全面云原生转型以及更开放的开发者体验。这些更新旨在提升数据开发和治理的效率，助力企业实现数据价值最大化和智能化转型。
DataWorks on EMR StarRocks，打造标准湖仓新范式
本文整理自阿里云计算平台产品专家周硕（簌篱）在阿里云 DataWorks on EMR StarRocks 解决方案介绍中的分享。介绍了阿里云 DataWorks 与 EMR Serverless StarRocks 的结合使用，详细阐述了在数据同步、数据消费、数据治理三大场景中的核心能力。DataWorks 作为大数据开发治理平台，提供了从数据建模、数据集成、数据开发到数据治理的全链路解决方案，结合 StarRocks 的高性能分析能力，帮助企业实现 OLAP 分析、湖仓一体开发及数据综合治理，满足复杂业务场景下的需求，提升数据处理和分析效率。
