大数据& AI 产品月刊【2024年11月】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 大数据& AI 产品技术月刊【2024年11月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。

大数据& AI 产品技术月刊【2024年11月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。


一、产品功能发布

【人工智能平台 PAI】新功能/规格 - DSW 支持 OSS 数据集动态挂载

动态挂载支持开发者在开发过程中随时加载新的 OSS 数据集而无需重启实例,大幅提升开发者的开发体验。

【人工智能平台 PAI】新功能/规格 - DSW 实例支持自定义服务访问配置能力

开发者在使用 DSW 实例开发过程中,可通过简单配置将自定义服务对外暴露,提升开发者协作体验。

【云原生大数据计算服务 MaxCompute】新功能/规格 - MaxFrame 支持自动化打包服务

MaxFrame 支持在作业开发时声明所需的外部依赖包,简化了 Python 开发中第三方包的管理操作。

【云原生大数据计算服务 MaxCompute】新功能/规格 - 作业智能诊断功能发布

MaxCompute 推出作业智能诊断功能,帮助客户及时发现作业报错及性能问题并自主分析与解决。

【云原生大数据计算服务 MaxCompute】功能优化 - 物化视图推荐与管理功能优化升级

功能新增预估影响面和实际收益指标,辅助您决策是否采用推荐建议及管理现有物化视图。

【云原生大数据计算服务 MaxCompute】新功能/规格 - V49版本 SQL 引擎能力增强

全新支持 Bitmap 索引和 Bloomfilter 索引,新增 JSON_EXPLODE 内置函数,并支持 SQL 多行注释、SUBQUERY_MAPJOIN HINT 等多种语法升级;新增并 Split 参数以调整表级别的任务并行度。

【云原生大数据计算服务 MaxCompute】新功能/规格 - 湖仓一体能力增强

湖仓场景能力升级:支持 Parquet 外部表写入使用 ZSTD 压缩等。

【实时数仓 Hologres】新地域/新可用区 - 新增开通中国(香港)地域的可用区 D

Hologres 服务新增开通中国(香港)地域的可用区 D,用户可按需开通实例,按需在香港地域使用跨可用区容灾功能

【大数据开发治理平台 DataWorks】新功能/规格 - 数据质量新增枚举值校验类型质量监控模板

可直接使用模板快速监控不匹配的异常数据,提高数据质量监控效率。

【大数据开发治理平台 DataWorks】新功能/规格 - 数据访问控制审批后,支持查看授权结果和异常原因

方便快速了解审批结果和具体原因。

【大数据开发治理平台 DataWorks】新功能/规格 - 数据资产治理支持通过资产标签快速自定义治理计划

支持通过治理标签查看及筛选现有问题资产明细,并可快速导入生成自定义治理计划进行处理。

【大数据开发治理平台 DataWorks】新功能/规格 - 数据地图支持搜索 StarRocks External Catalog 元数据

可利用数据地图的搜索功能,搜索和查看 StarRocks External Catalog 所关联的表、字段等元数据信息。

【大数据开发治理平台 DataWorks】新功能/规格 - 新版数据开发支持 Notebook

Notebook 是一种交互式开发环境,允许用户通过整合代码(如 SQL 和 Python 等)、文本、代码执行结果和数据可视化图表来进行直观的数据探索、分析和AI模型开发。

【大数据开发治理平台 DataWorks】新功能/规格 - 支持 EMR Serverless Spark 集群

基于全托管集群模式,提供 Spark 任务开发与编排、调度运维、数据分析、数据集成、数据分析、数据治理等一站式大数据开发治理平台。

【实时计算 Flink 版】新功能/规格 - 支持 SelectDB 连接器

实时计算 Flink 版支持使用 SelectDB 连接器写入数据至云数据库 SelectDB 版

【实时计算 Flink 版】新功能/规格 - 实时计算 Flink 支持混合计费模式

混合计费模式支持在包年包月模式的基础上配置弹性资源,为结合了按量兼顾灵活性与成本效益的计费模式。

【开源大数据平台 E-MapReduce】新功能/规格 - Serverless Spark 会话与 Gateway

Spark Thrift Server 支持开启 Ldap 认证,以及 Ranger 鉴权。

【开源大数据平台 E-MapReduce】新功能/规格 - StarRocks 存算分离3.3版本正式发布

EMR Serverless StarRocks 存算分离3.3版本正式发布,支持社区3.3版本及多计算组功能。

【开源大数据平台 E-MapReduce】新功能/规格 - 支持按量节点组升配

EMR on ECS 按量节点组支持配置升级,及时应对节点组由于业务原因负载过高,当节点组内 ECS 实例的规格(vCPU 和内存)无法满足您的业务需求时,您可以使用配置升级功能提升 ECS 实例规格。

【开源大数据平台 E-MapReduce】新功能/规格 - 支持系统盘加密

EMR on ECS 在创建集群时,支持对系统盘绑定 KMS 密钥加密。

【开源大数据平台 E-MapReduce】新功能/规格 - 按量节点组支持配置弹性保障

EMR on ECS 可以提前在 ECS 购买资源预定,在创建按量付费节点组,关联指定私有池,保障弹性资源供应稳定性。

【向量检索服务 Milvus 版】新地域/新可用区 - 新增开通华东1(杭州)可用区 I 、华东2(上海)可用区 F、华北2(北京) 可用区 F、华南1(深圳) 可用区 F

新增开通华东1(杭州)可用区 I 、华东2(上海)可用区 F、华北2(北京) 可用区 F、华南1(深圳) 可用区 F,用户可按需在控制台开通集群

二、最新活动

Flink Forward Asia 2024 上海站|探索实时计算新边界

FFA 大会于 11 月 29 至 30 日在上海隆重举行,适逢 Apache Flink 诞生 10 周年,本次主论坛的主题为“Apache Flink:回顾过去,展望未来”,与开发者们分享 Flink 过去十年在技术和生态方面的演进历程及关键成果。同时,基于当前 AI 时代的新场景,展望未来十年 Flink 的发展方向和规划。大会围绕了八大核心议题,呈现近百场专业演讲,深入探讨流式湖仓、流批一体、Data+AI 融合、数据集成以及云原生等前沿技术的发展趋势。

阿里云& Elastic:AI Search Tech Day

11月22日阿里云与 Elastic 联合打造“AI Search Tech Day”技术思享会在上海召开,特邀阿里云 AI 搜索团队专家和 Elastic 架构师与开发者们面对面交流,分享了阿里云 AI 搜索方案解读和 AI 搜索前沿技术与应用案例。

Apache Spark & Paimon Meetup · 北京站

11月15日北京阿里中心,阿里云 EMR 技术团队联合 Apache Paimon 社区,举办" Apache Spark & Paimon, 助力 LakeHouse 架构生产落地" 线下 Meetup,阿里集团、阿里云、VIVO等众多业内大咖深入探讨 LakeHouse 架构核心技术和实践案例,以及 Apache Spark 与 Paimon 的深度整合实践,为大数据从业者提供了开放的分享与交流平台。

使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型,搭建文旅领域知识问答机器人

基于新一代多模态大模型 Qwen2-VL,使用 人工智能平台 PAI+LLaMA Factory 开源框架完成文旅领域大模型的构建,搭建专属文旅问答机器人,AI 导游懂你更懂规划!

DataWorks 限时优惠!数据治理中心全新升级为数据资产治理

新购或升级到标准版/专业版,可以自动免费体验企业版独有的数据资产治理功能1个月;

新购企业版或低版本即将到期升级到企业版,可以申请享受首月299元的优惠,申请入口

三、产品快讯

国内首家! 阿里云人工智能平台 PAI 通过 ITU 国际标准测评

阿里云人工智能平台 PAI 顺利通过中国信通院组织的 ITU-T AICP-GA(Technical Specification for Artificial Intelligence Cloud Platform:General Architecture)国际标准和《智算工程平台能力要求》国内标准一致性测评,成为国内首家通过该标准的企业。阿里云人工智能平台 PAI 参与完成了智算安全、AI 能力中心、数据工程、模型开发训练、模型推理部署等全部八个能力域,共计220余个用例的测试,并100%通过测试要求,获得了 ITU 国际标准和国内可信云标准评估通过双证书。

【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024

阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。

阿里重磅开源 Fluss: Flink Unified Streaming Storage

在11月29日举办的 Flink Forward Asia 2024 大会主题演讲上,阿里巴巴正式开源 Fluss 项目。Fluss 项目是由阿里云智能 Flink 团队研发的一款面向流分析的下一代流存储,旨在解决流存储在分析方面长期存在的挑战。Fluss 的项目定位是为 Apache Flink 提供实时流存储底座,进一步提升 Flink 实时流计算的能力。Fluss 创新性地将列存格式和实时更新能力融合进了流存储中,并与 Flink 深度集成,帮助用户构建高吞吐量、低延迟、低成本的流式数仓。

阿里云受邀加入 Elastic AI Ecosystem 联盟,助力企业加速 GenAI 应用程序开发

Elastic 宣布推出 AI Ecosystem 联盟,旨在加速开发和部署 RAG 应用程序。该联盟集成了阿里云、Hugging Face、LangChain、NVIDIA、OpenAI 等领先技术平台和工具,提供全面的 AI 工具和技术,与 Elasticsearch 向量数据库无缝集成,以加快应用上市时间和提升投资回报率。阿里云作为中国唯一受邀加入的厂商,与 Elastic 深入合作,为全球用户提供强大的 AI 搜索开发平台,满足混合搜索、语义重排序和 RAG 等业务需求。阿里云 AI 搜索开放平台提供多模态数据解析、文档切分、文本向量等组件化服务,支持智能搜索、RAG、多模态搜索等场景的搭建。

阿里云 Elastic Enterprise 正式上线!

在数据驱动的商业环境中,企业面临着日益复杂的数据管理与分析挑战。阿里云 Elasticsearch 服务不仅免费提供了 Elastic 原厂的 Enterprise 版本功能,更凭借其增强的数据管理能力、智能 AI 分析、先进的搜索技术以及全面的安全特性,致力于为企业提供一站式解决方案。

四、最佳实践

DistilQwen2:通义千问大模型的知识蒸馏实践

DistilQwen2 是基于 Qwen2 大模型,通过知识蒸馏进行指令遵循效果增强的、参数较小的语言模型。人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,对 DistilQwen2 模型系列提供了全面的技术支持。本文将介绍 DistilQwen2 的技术原理、效果评测,以及 DistilQwen2 在阿里云人工智能平台 PAI 上的使用方法,和在各开源社区的下载使用教程。

DistilQwen2 蒸馏小模型在 PAI-QuickStart 的训练、评测、压缩及部署实践

DistilQwen2 是基于 Qwen2大模型,通过知识蒸馏进行指令遵循效果增强的、参数较小的语言模型。人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,对 DistilQwen2 模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过 PAI-QuickStart 轻松实现 DistilQwen2 系列模型的训练、评测、压缩和快速部署。本文详细介绍在 PAI 平台使用 DistilQwen2 蒸馏小模型的全链路最佳实践。

Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践

Qwen2.5-Coder 是阿里云最新推出的专门针对代码的 Qwen 大型语言模型系列。人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,为开发者和企业客户提供了 Qwen2.5-Coder 系列模型的全链路最佳实践。本文以 Qwen2.5-Coder-32B 为例,详细介绍在 PAI-QuickStart 完成 Qwen2.5-Coder 的训练、评测和快速部署。

DataWorks:新一代 Data+AI 数据开发与数据治理平台演进

本文介绍了阿里云 DataWorks 在 DA 数智大会 2024 上的最新进展,包括新一代智能数据开发平台 DataWorks Data Studio、全新升级的 DataWorks Copilot 智能助手、数据资产治理、全面云原生转型以及更开放的开发者体验。这些更新旨在提升数据开发和治理的效率,助力企业实现数据价值最大化和智能化转型。

DataWorks on EMR StarRocks,打造标准湖仓新范式

本文整理自阿里云计算平台产品专家周硕(簌篱)在阿里云 DataWorks on EMR StarRocks 解决方案介绍中的分享。介绍了阿里云 DataWorks 与 EMR Serverless StarRocks 的结合使用,详细阐述了在数据同步、数据消费、数据治理三大场景中的核心能力。DataWorks 作为大数据开发治理平台,提供了从数据建模、数据集成、数据开发到数据治理的全链路解决方案,结合 StarRocks 的高性能分析能力,帮助企业实现 OLAP 分析、湖仓一体开发及数据综合治理,满足复杂业务场景下的需求,提升数据处理和分析效率。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
11天前
|
人工智能 前端开发 小程序
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
|
8天前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
25 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
15天前
|
人工智能 Serverless API
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
79 8
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
|
3天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
15天前
|
存储 人工智能 数据管理
|
1天前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
16 1
|
10天前
|
人工智能 分布式计算 数据处理
MaxCompute Data + AI:构建 Data + AI 的一体化数智融合
本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。
|
8天前
|
存储 人工智能 数据管理
媒体声音|专访阿里云数据库周文超博士:AI就绪的智能数据平台设计思路
在生成式AI的浪潮中,数据的重要性日益凸显。大模型在实际业务场景的落地过程中,必须有海量数据的支撑:经过训练、推理和分析等一系列复杂的数据处理过程,才能最终产生业务价值。事实上,大模型本身就是数据处理后的产物,以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题,这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。
|
8天前
|
人工智能 运维 监控
阿里云Milvus产品发布:AI时代云原生专业向量检索引擎
随着大模型和生成式AI的兴起,非结构化数据市场迅速增长,预计2027年占比将达到86.8%。Milvus作为开源向量检索引擎,具备极速检索、云原生弹性及社区支持等优势,成为全球最受欢迎的向量数据库之一。阿里云推出的全托管Milvus产品,优化性能3-10倍,提供企业级功能如Serverless服务、分钟级开通、高可用性和成本降低30%,助力企业在电商、广告推荐、自动驾驶等场景下加速AI应用构建,显著提升业务价值和稳定性。
|
人工智能 物联网 语音技术
云知声推多款医疗 AI 产品,病历生成与质控产品今年将站 C 位
云知声的战略是把在垂直行业积累的AI技能放在云端,通过芯片去赋能设备端的边缘计算能力,进而把云端的技术向设备端进行输出。
2466 0

相关产品

  • 云原生大数据计算服务 MaxCompute